javascript - scraping - Raspe una página con las solicitudes AJAX

web scraping javascript tutorial

Question

Estoy usando Node.js con jsDOM para raspar páginas web y ejecutar JavaScript en ellas. Pero si una página contiene solicitudes AJAX, no se ejecutan.

¿Hay una opción para ejecutar llamadas AJAX dentro de las páginas raspadas?

Answer 1

necesitas emular XMLHTTPRequests. Aquí hay una abstracción . No funcionan de la caja en node.js.

Tendrás que descubrir cómo hacerlo para hablar con jsdom. (Esperemos que al agregar un constructor xmlhttprequest a la window lo solucione)