web-scraping - find_next_sibling - web scraping python examples

¿Cómo hago que Mixnode Crawler se ralentice?

Question

Hemos superado los 20 millones de páginas / hora y realmente aprecio la velocidad; sin embargo, me temo que puedo estar presionando demasiado a los sitios objetivo, ¿hay alguna forma de que podamos disminuir la velocidad a la que se rastrean los sitios web?

Answer 1

No estoy seguro de por qué querría disminuir la velocidad, ya que la documentación establece claramente que:

Hay un retraso mínimo de 10 segundos entre las solicitudes enviadas al mismo sitio web. Si las directivas de robots.txt de un sitio web requieren un retraso mayor, Mixnode seguirá la duración del retraso especificada por las directivas de robots.txt.