example - ¿Aumenta la concurance de scrapy para diferentes dominios?

scrapy python 3

Question

Estoy intentando configurar scrapy para seguir enlaces externos.

Al mismo tiempo, tengo DOWNLOAD_DELAY = 3 , por lo que es cortés con los servidores.

¿Hay alguna forma de configurar scrapy para comenzar a descargar enlaces externos de forma inmediata y en paralelo?

De los registros, parece que los enlaces externos están en la misma cola que los enlaces internos.

Mi araña es:

 16 class RedditSpider(scrapy.Spider):
 17     name = "reddit"
 18     start_urls = [''https://www.reddit.com/'']
 19
 20     def parse(self, response):
 21         digest = hashlib.md5(response.body).hexdigest()
 22         if pages.find_one({''digest'': digest}):
 23             return
 24         links = LinkExtractor(allow=()).extract_links(response)
 25         urls = [l.url for l in links]
 26         pages.insert_one({
 27             ''digest'': digest,
 28             ''url'': response.url,
 29             ''links'': urls,
 30             ''body'': response.text
 31         })
 32         for url in urls:
 33             yield scrapy.Request(url, callback=self.parse)

Answer 1

Sí, el raspado usualmente raspa páginas en paralelo. Existen estas configuraciones que puede modificar / anular en settings.py de su proyecto scrapy:

• CONCURRENT_REQUESTS
• CONCURRENT_REQUESTS_PER_DOMAIN

(Consulte https://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests )

Valores recomendados:

Si bien CONCURRENT_REQUESTS_PER_DOMAIN debe establecerse en valores no demasiado altos para ser cortés con los servidores (por ejemplo, un dígito bajo), CONCURRENT_REQUESTS debe ser lo más alto posible (sin quedarse sin memoria) ... por lo que se recomienda un valor superior a 100 aquí.

Desafortunadamente la cola en scrapy no es perfecta, si tienes más de CONCURRENT_REQUESTS para el mismo dominio (por ejemplo, reddit) en los primeros lugares de tu cola, estos bloquearán el procesamiento de otras solicitudes en paralelo hasta que se hayan procesado suficientes y primero los dominios externos se asignan a las ranuras de procesamiento.

Así que tener un valor CONCURRENT_REQUESTS que sea lo más alto posible es la clave aquí.