for algo python proxy web-scraping scrapy vpn

python - algo - Usar Scrapy con VPN en Ubuntu



algo vpn (1)

Una VPN es algo que funciona en todo el sistema, no es algo que represente el tráfico seleccionado. Todo su tráfico de Internet, navegador, torrente, chat, etc. se enrutará a través de la VPN, así que simplemente conéctese a la VPN y ejecute la secuencia de comandos.

Por lo tanto, estoy usando Scrapy para rastrear algunos sitios web y quiero aumentar mi privacidad en Internet y también evitar que se me prohíba, así que leí que podría lograr eso mediante el uso de listas de proxy de alta calidad como http://www.ninjasproxy.com/ o http. : //hidemyass.com/ o VPN o Tor.

Por lo que entendí, una VPN paga sería una buena opción como la que ofrece http://hidemyass.com/ , pero parece que no puedo encontrar ningún código que realmente muestre que Scrapy se está integrando con una VPN como hidemyass.

Solo vi un ejemplo como https://github.com/aivarsk/scrapy-proxies que muestra cómo usar las listas de proxy.

¿Cómo hago que Scrapy funcione con una VPN? Si no puedo, ¿las listas de poder son lo suficientemente buenas para mantener el anonimato?