python - Pasando lista como argumentos en Scrapy

flask scrapy-spider

Question

Estoy intentando crear una aplicación usando Flask and Scrapy. Tengo que pasar la list de URL a araña. Intenté usar la siguiente sintaxis:

__init__: in Spider
self.start_urls = ["http://www.google.com/patents/" + x for x in u]

Flask Method
u = ["US6249832", "US20120095946"]
os.system("rm static/s.json; scrapy crawl patents -d u=%s -o static/s.json" % u)

Sé que se puede hacer algo similar al leer el archivo que tiene URL requeridas, pero ¿puedo pasar la lista de URL para rastrear?

Answer 1

__init__() método __init__() araña:

class MySpider(Spider):
    name = ''my_spider''    

    def __init__(self, *args, **kwargs): 
      super(MySpider, self).__init__(*args, **kwargs) 

      endpoints = kwargs.get(''start_urls'').split('','')
      self.start_urls = ["http://www.google.com/patents/" + x for x in endpoints]

Y pase la lista de puntos finales a través del argumento de línea de comando -a :

scrapy crawl patents -a start_urls="US6249832,US20120095946" -o static/s.json

Ver también:

• ¿Cómo dar URL a scrapy para rastrear?

Tenga en cuenta que también puede ejecutar Scrapy desde el script :

• Cómo ejecutar Scrapy desde dentro de una secuencia de comandos de Python
• Ejemplo muy básico de Scrapy