crawlspider - scrapy python español

Obtenga resultados/resultados del rastreador de Scrapy en la función de archivo de script

Question

Estoy usando un archivo de script para ejecutar una araña dentro del proyecto de scrapy y araña está registrando los resultados / resultados del rastreador. Pero quiero usar los resultados / resultados de spider en ese archivo de script en alguna función. No quería guardar los resultados en ningún archivo o base de datos. Aquí está el código de Script get from https://doc.scrapy.org/en/latest/topics/practices.html#run-from-script

from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
from scrapy.utils.project import get_project_settings

configure_logging({''LOG_FORMAT'': ''%(levelname)s: %(message)s''})
runner = CrawlerRunner(get_project_settings())


d = runner.crawl(''my_spider'')
d.addBoth(lambda _: reactor.stop())
reactor.run()

def spider_output(output):
#     do something to that output

¿Cómo puedo obtener spider en el método ''spider_output''? Es posible obtener resultados / resultados.

Answer 1

AFAIK no hay forma de hacer esto, ya que crawl () :

Devuelve un diferido que se activa cuando finaliza el rastreo.

Y el rastreador no almacena resultados en ninguna otra parte que no sea enviarlos al registrador.

Sin embargo, devolver la salida entra en conflicto con toda la naturaleza asincrónica y la estructura de scrapy, por lo que guardarlo en un archivo y luego leerlo es un enfoque preferido aquí.
Simplemente puede diseñar una tubería que guarde sus artículos en un archivo y simplemente lea el archivo en su spider_output . Recibirá sus resultados ya que reactor.run() está bloqueando su script hasta que el archivo de salida esté completo de todos modos.

Answer 2

Aquí está la solución que obtiene todos los resultados en una lista

from twisted.internet import reactor
from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

def spider_results():
    results = []   

    def crawler_results(parse_result):
        results.append(parse_result)

    dispatcher.connect(crawler_results, signal=signals.item_passed)

    runner = CrawlerRunner(get_project_settings())
    running_crawler = runner.crawl(''my_spider'')
    running_crawler.addBoth(lambda _: reactor.stop())
    reactor.run()

spider_results()