python - tutorial - scrapy mercadolibre

¿Cómo consigue que la araña devuelva datos con scrapy a través de un script externo?

Question

¿Cuál es la forma de ver los datos de retorno de la función de análisis de la araña cuando ejecuto un script como este?

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy.settings import Settings
from scrapy import log, signals
from testspiders.spiders.followall import FollowAllSpider

spider = FollowAllSpider(domain=''scrapinghub.com'')
crawler = Crawler(Settings())
crawler.signals.connect(reactor.stop, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)
crawler.start()
crawler.stats
#log.start()
reactor.run()

Deshabilito el registro para ver los mensajes impresos en las arañas, pero con el registro habilitado, los datos de retorno tampoco se muestran.

El código de la función spider parse devuelve una cadena simple.

¿Cómo obtengo esta información? Intento imprimir los resultados de "reactor.run" pero siempre es "ninguno"

Answer 1

Esta es la forma que he encontrado para obtener los artículos recolectados:

items = []
def add_item(item):
    items.append(item)

crawler.signals.connect(add_item, signals.item_passed)

Di mi respuesta original en la pregunta vinculada y doy un poco más de detalles: https://.com/a/23892650/2730032

Answer 2

Si desea ver el registro en la pantalla, cambie esta línea:

#log.start()

a esto:

log.start(loglevel=log.DEBUG)

a tu script

Ver esta pregunta