python - spider - Código de ejemplo para Scrapy process_links y process_request

scrapy spider

Question

Soy nuevo en Scrapy y esperaba que alguien me diera buenos códigos de ejemplo cuando process_links y process_request son los más útiles. Veo que process_links se usa para filtrar URL pero no sé cómo codificarlo.

Gracias.

Answer 1

Te refieres a scrapy.spiders.Rule que se usa con más frecuencia en scrapy.CrawlSpider

Hacen más o menos lo que dicen los nombres o, en otras palabras, que actúan como una especie de middleware entre el momento en que se extrae y procesa / descarga el enlace.

process_links encuentra entre el momento en que se extrae el enlace y se convierte en solicitud. Hay casos de uso muy interesantes para esto, solo por nombrar algunos comunes:

1. Filtra algunos enlaces que no te gustan.
2. Haga la redirección manualmente para evitar malas solicitudes.

ejemplo:

def process_links(self, link):
for link in links:
#1
if ''foo'' in link.text:
continue # skip all links that have "foo" in their text
yield link
#2
link.url = link.url + ''/'' # fix url to avoid unnecessary redirection
yield link

process_requests ubica entre la solicitud que se acaba de realizar y antes de que se descargue. Comparte algunos casos de uso con process_links pero puede hacer algunas cosas interesantes como:

1. Modificar encabezados (por ejemplo, cookies).
2. Cambie detalles como la devolución de llamada, dependiendo de algunas palabras clave en la url.

ejemplo:

def process_req(self, req):
# 1
req = req.replace(headers={''Cookie'':''foobar''})
return req
# 2
if ''foo'' in req.url:
return req.replace(callback=self.parse_foo)
elif ''bar'' in req.url:
return req.replace(callback=self.parse_bar)
return req

Probablemente no los uses a menudo, pero estos dos pueden ser accesos directos muy prácticos y fáciles en algunas ocasiones.