web scraping - mac - Ejecutando múltiples arañas en el mismo proceso, una araña a la vez

scrapy vs beautifulsoup

Question

Tengo una situación en la que tengo un CrawlSpider que busca resultados usando códigos postales y categorías (datos POST). Necesito obtener todos los resultados para todas las categorías en todos los códigos postales. Mi spider toma un código postal y una categoría como argumentos para los datos POST. Quiero iniciar programáticamente una araña para cada combinación de código postal / categoría a través de un script.

La documentación explica que puede ejecutar varias arañas por proceso con este ejemplo de código aquí: http://doc.scrapy.org/en/latest/topics/practices.html#running-multiple-spiders-in-the-same-process This es lo mismo que quiero hacer; sin embargo, quiero básicamente hacer cola a las arañas para que se ejecuten una tras otra después de que termine la araña anterior.

¿Alguna idea sobre cómo lograr esto? Parece haber algunas respuestas que se aplican a versiones anteriores de scrapy (~ 0.13) pero la arquitectura ha cambiado y ya no funcionan con la última versión estable (0.24.4)

Answer 1

Puede confiar en la señal spider_closed para comenzar a rastrear el próximo código postal / categoría. Aquí está el código de muestra (no probado) basado en esta respuesta y adoptado para su caso de uso:

from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.settings import Settings
from twisted.internet import reactor

# for the sake of an example, sample postal codes
postal_codes = [''10801'', ''10802'', ''10803'']


def configure_crawler(postal_code):
    spider = MySpider(postal_code)

    # configure signals
    crawler.signals.connect(callback, signal=signals.spider_closed)

    # detach spider
    crawler._spider = None

    # configure and start the crawler
    crawler.configure()
    crawler.crawl(spider)


# callback fired when the spider is closed
def callback(spider, reason):
    try:
        postal_code = postal_codes.pop()
        configure_crawler(postal_code)
    except IndexError:
        # stop the reactor if no postal codes left
        reactor.stop()


settings = Settings()
crawler = Crawler(settings)
configure_crawler(postal_codes.pop())
crawler.start()

# start logging
log.start()

# start the reactor (blocks execution)
reactor.run()