ejemplo - Raspado de sitios con retraso de la pantalla de JavaScript

getelementbyid javascript ejemplo

Question

Estoy intentando eliminar un sitio que tiene un retraso de JavaScript de fracción de segundo.

Actualmente estoy usando Python para raspar. Cada vez que ''consigo'' la página, la demora de javascript no ha terminado y aún no ha cargado completamente la nueva dom.

¿Cómo podría raspar a un pge?

Answer 1

Una forma confiable es rasparlo a través de un navegador web o un control de navegador web , por ejemplo, con los comandos de raspado de i-Macros. Funciona también a través de Python / Linux .

También puede codificar esto usted mismo a través del control del navegador web en Windows: http://www.codeproject.com/KB/cs/webbrowser.aspx

Answer 2

Puede extender Mozilla para construir un raspador web que pueda aprovechar toda la potencia del navegador web. Una vez que se hayan cargado todos los datos y se haya generado el DOM, puede extraer los datos necesarios del DOM utilizando XSLT. Si el DOM se modificó dinámicamente después de la carga inicial, puede tomar algunos enfoques para esperar los cambios. Visite http://www.gooseeker.com para obtener más información. GooSeeker publica una herramienta similar gratuita para todos. La mayoría de los códigos están en javascript y se pueden leer, desde donde puede encontrar cómo se ejecuta.