python - Usando Tor proxy con scrapy

Question

Necesito ayuda para configurar Tor en Ubuntu y usarlo dentro del framework scrapy.

Investigué un poco y descubrí esta guía:

class RetryChangeProxyMiddleware(RetryMiddleware):
def _retry(self, request, reason, spider):
log.msg(''Changing proxy'')
tn = telnetlib.Telnet(''127.0.0.1'', 9051)
tn.read_until("Escape character is ''^]''.", 2)
tn.write(''AUTHENTICATE "267765"/r/n'')
tn.read_until("250 OK", 2)
tn.write("signal NEWNYM/r/n")
tn.read_until("250 OK", 2)
tn.write("quit/r/n")
tn.close()
time.sleep(3)
log.msg(''Proxy changed'')
return RetryMiddleware._retry(self, request, reason, spider)

luego úsala en settings.py:

DOWNLOADER_MIDDLEWARE = {
''spider.middlewares.RetryChangeProxyMiddleware'': 600,
}

y luego solo desea enviar solicitudes a través de proxy local (polipo) que se puede hacer con:

tsocks scrapy crawl spirder 

¿alguien puede confirmar que este método funciona y usted obtiene diferentes direcciones IP?

Answer 1

Estaba usando este fragmento: http://snipplr.com/view/66992/use-a-random-user-agent-for-each-request/

Actualización: enlace roto fijo