with scraping libreria from example con python selenium scrapy

scraping - selenium webdriver python



Para scrapy/selenium ¿hay alguna manera de volver a una página anterior? (3)

Básicamente tengo un start_url que tiene mi formulario y botón de búsqueda de JavaScript, de ahí la necesidad de selenio. Utilizo selenio para seleccionar los elementos adecuados en mis objetos de cuadro de selección y hago clic en el botón de búsqueda. La siguiente página, hago algo de magia de scrapy. Sin embargo, ahora quiero volver al original start_url y completar un objeto diferente, etc. y repetir hasta que no haya más.

Esencialmente, he intentado hacer un ciclo forzado e intentar que el navegador regrese al response.url original, pero de alguna manera se bloqueó. Puedo intentar tener una lista duplicada de start_url en la parte superior para que scrapy pueda analizar, pero no estoy seguro de si ese es el mejor enfoque. ¿Qué puedo hacer en mi situación?



La respuesta seleccionada actualmente proporciona un enlace a un sitio externo y ese enlace está roto. El selenio habla de

driver.forward() driver.back()

pero a veces fallarán, incluso si usa explícitamente algunas funciones de espera.

Encontré una mejor solución. Puede usar el siguiente comando para navegar hacia atrás.

driver.execute_script("window.history.go(-1)")

Espero que esto ayude a alguien más en el futuro.


Para avanzar y retroceder en el uso de la historia de su navegador

driver.forward() driver.back()