python - soup - Cabeceras personalizadas en Phantomjs Selenium WebDriver

web scraping python examples

Question

Según this , ahora es posible modificar los encabezados. Cajeros automáticos necesito modificar Accept-Language en PhantomJS webdriver. Este código no funciona

DesiredCapabilities.PHANTOMJS[''phantomjs.page.customHeaders.Accept-Language''] = ''ru-RU''
driver = webdriver.PhantomJS()

¿Es posible configurar Phantomjs para enviar mi encabezado? no me importa dónde: dentro de ghostdriver, phantomjs o phantomjs-webdriver.

Answer 1

Escribo un ejemplo completo para configurar todos los encabezados, tamaño de ventana y proxy en selenium phantomjs:

from selenium import webdriver

def init_phantomjs_driver(*args, **kwargs):

    headers = { ''Accept'':''text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'',
        ''Accept-Language'':''zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3'',
        ''User-Agent'': ''Mozilla/5.0 (Windows NT 6.2; WOW64; rv:47.0) Gecko/20100101 Firefox/47.0'',
        ''Connection'': ''keep-alive''
    }

    for key, value in headers.iteritems():
        webdriver.DesiredCapabilities.PHANTOMJS[''phantomjs.page.customHeaders.{}''.format(key)] = value

    webdriver.DesiredCapabilities.PHANTOMJS[''phantomjs.page.settings.userAgent''] = ''Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.116 Safari/537.36''

    driver =  webdriver.PhantomJS(*args, **kwargs)
    driver.set_window_size(1400,1000)

    return driver


def main():
    service_args = [
        ''--proxy=127.0.0.1:9999'',
        ''--proxy-type=http'',
        ''--ignore-ssl-errors=true''
        ]

    driver = init_phantomjs_driver(service_args=service_args)

    driver.get(''http://cn.bing.com'')

Nota:

userAgent se establece en phantomjs.page.settings.userAgent en lugar de phantomjs.page.customHeaders

Answer 2

La última versión ( 1.9.1 ) de PhantomJS es la versión del 5 de junio de 2013. La solicitud de extracción se fusionó el Jun/23/2013 .

Si está utilizando la versión 1.9.1 de PhantomJS, los encabezados personalizados no funcionarán.

Tienes que construir phantomjs por ti mismo o esperar hasta que phantomjs fusione ghostdriver cambie y lance una nueva versión.

• Clon PhantomJS repositorio
• Repositorio clon fantasma
• copie el ghostdriver / src / * a phantomjs / src / ghostdriver recursivamente
• construir phantomjs

Usando phantomjs recién compilado obtuve el siguiente resultado:

from selenium import webdriver

webdriver.DesiredCapabilities.PHANTOMJS[''phantomjs.page.customHeaders.Accept-Language''] = ''ru-RU''
driver = webdriver.PhantomJS()
driver.get(''http://httpbin.org/headers'')
print(driver.page_source)

...
{
  "headers": {
    "Connection": "close",
    "Host": "httpbin.org",
    "Accept-Encoding": "gzip",
    "Accept-Language": "ru-RU",
    "User-Agent": "Mozilla/5.0 (Unknown; Linux i686) AppleWebKit/534.34 (KHTML, like Gecko) PhantomJS/1.10.0 (development) Safari/534.34",
    "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8"
  }
 ...

ACTUALIZAR

Utilice PhantomJS 1.9.2+ .