scraping - Uso de Selenium con Python y PhantomJS para descargar archivos al sistema de archivos

web scraping python español

Question

He estado lidiando con el uso de PhantomJS / Selenium / python-selenium para descargar un archivo al sistema de archivos. Soy capaz de navegar fácilmente a través del DOM y hacer clic, desplazarme, etc. Sin embargo, la descarga de un archivo está demostrando ser bastante problemática. He intentado un enfoque sin cabeza con Firefox y pyvirtualdisplay pero tampoco funcionó bien y fue increíblemente lento. Sé que CasperJS permite la descarga de archivos. ¿Alguien sabe cómo integrar CasperJS con Python o cómo utilizar PhantomJS para descargar archivos? Muy apreciado.

Answer 1

Mi caso de uso requería un envío de formulario para recuperar el archivo. Pude lograr esto usando la función execute_async_script() del controlador.

 js = ''''''
    var callback = arguments[0];
    var theForm = document.forms[''theFormId''];
    data = new FormData();
    data.append(''eventTarget'', "'''''' + target + ''''''"); // this is the id of the file clicked
    data.append(''otherFormField'', theForm.otherFormField.value);

    var xhr = new XMLHttpRequest();
    xhr.open(''POST'', theForm.action, true);
''''''

for cookie in driver.get_cookies():
    js += '' xhr.setRequestHeader("'' + cookie[''name''] + ''", "'' + cookie[''value''] + ''"); ''

js += ''''''
    xhr.onload = function () {
        callback(this.responseText);
    };
    xhr.send(data);
''''''

driver.set_script_timeout(30)
file = driver.execute_async_script(js)

Answer 2

No es posible de esa manera. Puedes usar otras alternativas para descargar archivos como wget o curl.

Use firefox para encontrar la solicitud correcta y el selenio para obtener los valores para eso y finalmente use la caja para descargar el archivo

curlCall=" curl ''http://www_sitex_org/descarga.jsf'' -H ''...allCurlRequest....'' > file.xml"
subprocess.call(curlCall, shell=True)

Answer 3

PhantomJS actualmente no admite descargas de archivos. Problemas relevantes con las soluciones provisionales:

• Descarga de archivos
• ¿Cómo manejar el cuadro de diálogo para guardar archivos utilizando Selenium webdriver y PhantomJS?

Por lo que entiendo, tienes al menos 3 opciones:

• cambia a casperjs (y deberías dejar Python aquí)
• prueba con headless en xvfb
• cambiar a los navegadores normales sin cabeza

Aquí también hay algunos enlaces que pueden ayudar también:

• Selenium Headless Automated Testing en Ubuntu
• XWindows para Selenium sin cabeza (con más enlaces dentro)
• ¿Cómo ejecutar los navegadores (Chrome, IE y Firefox) en modo sin cabeza?
• Tutorial: Cómo usar Firefox sin cabeza para raspar en Linux

Answer 4

A pesar de que esta pregunta es bastante antigua, la descarga de archivos a través de PhantomJS sigue siendo un problema. Pero podemos usar PhantomJS para obtener el enlace de descarga y obtener todas las cookies necesarias, como los tokens csrf, etc. Y luego podemos usar requests para descargarlo en realidad:

import requests
from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get(''page_with_download_link'')
download_link = driver.find_element_by_id(''download_link'')
session = requests.Session()
cookies = driver.get_cookies()

for cookie in cookies: 
    session.cookies.set(cookie[''name''], cookie[''value''])
response = session.get(download_link)

Y ahora en response.content debe aparecer el contenido del archivo real. A continuación podemos escribirlo en open o hacer lo que queramos.