python - new - switch to selenium java

Selenio Python Cambiando IP

Question

Estoy escribiendo un raspador web usando Selenium para Python. El raspador visita los mismos sitios muchas veces por hora, por lo tanto, esperaba encontrar una forma de alterar mi IP cada pocas búsquedas. ¿Cuál es la mejor estrategia para esto (estoy usando Firefox)? ¿Hay algún código preescrito / a csv de direcciones IP que pueda cambiar? Soy completamente nuevo en el enmascaramiento de IP, proxies, etc. ¡así que por favor no me moleste!

Answer 1

Su ISP le asignará su dirección IP. Si te registras para algo como hidemyass.com, probablemente te proporcionen una aplicación que cambie tu proxy, aunque no sé cómo lo hacen.

Pero, si tienen una aplicación que te hace pasar por varios proxies, todo tu tráfico de Internet pasará por ese proxy, incluido tu raspador. No es necesario que el scraper sepa acerca de estos proxies o cómo funciona hide my ass: se conectará a través de los proxies al igual que su navegador o cliente FTP o ....

Answer 2

Intenta usar un proxy. Hay opciones gratuitas (no tan confiables) o servicios pagados.

from selenium import webdriver

def change_proxy(proxy,port):
    profile = webdriver.FirefoxProfile();
    profile.set_preference("network.proxy.type", 1);
    profile.set_preference("network.proxy.http", proxy);
    profile.set_preference("network.proxy.http_port", port);
    profile.set_preference("network.proxy.ssl", proxy);
    profile.set_preference("network.proxy.ssl_port", port);
    driver = webdriver.Firefox(profile);
    return driver