python - Pasando por alto Cloudflare Scrapeshield

selenium web-scraping

Question

Estoy trabajando en un proyecto webscraping, y estoy teniendo problemas con cloudflare scrapeshield. ¿Alguien sabe cómo evitarlo? Estoy usando selenium webdriver, que scrapeshield está redireccionando a una página con velocidad de luz. Construido con python encima de Firefox. La navegación normalmente no hace que redirija. ¿Hay algo que Webdriver haga diferente a un navegador normal?

Answer 1

Mira, lo que scrapeshield hace es verificar si estás usando un navegador real, básicamente está revisando tu navegador para detectar ciertos errores en ellos. Digamos que Chrome no puede procesar un IFrame si hay un 303 error en la línea al mismo tiempo, determinado navegador web reacciona de manera diferente a las diferentes pruebas, por lo que el webdriver no debe reaccionar, haciendo que el sistema diga "Tenemos un intruso" , cambia la página! ". Puedo estar en lo cierto, aunque no estoy 100% seguro ...

Más información sobre la fuente:

Encontré la mayor parte de esta información en una conversación de Defcon sobre sniffers web y les impidió obtener la información de vulnerabilidad adecuada en el servidor, también creó un identificador de navegador web en PHP.

Answer 2

"Estoy usando Selenium WebDriver, que está siendo redirigido a una página con velocidad de luz por scrapeshield". - Así no es como funciona Scrapeshield.

Además, sugiero que este hilo se cierre cuando solicite ayuda omitiendo una característica de seguridad que el propietario de un sitio web ha decidido habilitar intencionalmente en su sitio para evitar que las personas restrinjan su contenido.