json - example - scrapy spider

Pasando argumentos json a una araña en scrapy

Question

Debería pasarle a una araña algunos parámetros tomados de un archivo json. He leído que es posible mediante scrapyd utilizando schedule.json, pero no entiendo cómo pasar el archivo json. Alguien de ustedes tiene alguna experiencia?

Answer 1

No pasa los argumentos usando un archivo JSON. Scrapyd tiene una API JSON donde puedes pasar argumentos junto con ella. (por ejemplo, $ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider -d myargument="value" )

Puede manejar los argumentos pasados ​​a través de kwargs :

class MySpider(Spider):
name = ''somespider''
def __init__(self, *args, **kwargs):
super(MySpider, self).__init__(*args, **kwargs)
self.myargument = kwargs.get(''myargument'', '''')

Ver http://scrapyd.readthedocs.org/en/latest/api.html para más información.

Answer 2

Tenía la misma pregunta (quería pasar un archivo json a las arañas para implementar un sistema de rastreo distribuido simple.

Y simplemente lo resolví convirtiendo el archivo json en una cadena como argumento en scrapyd.