python - source - scrapy, cómo enviar múltiples solicitudes a un formulario

web scraping open source

Question

Ok, tengo un código de wroking aquí, estoy enviando 1 solicitud a un formulario y estoy recuperando todos los datos que necesito. Código:

 def start_requests(self):
nubmers="12345"
submitForm = FormRequest("https://domain.com/url",
formdata={''address'':numbers,''submit'':''Search''},
callback=self.after_submit)
return [submitForm]

Ahora necesito enviar múltiples solicitudes a través del mismo formulario y recopilar datos para cada solicitud. Necesito recopilar datos para x números. Almacenaba todos los números en un archivo:

 12345
54644
32145
12345

código:

def start_requests(self):
with open(''C:/spiders/usps/zips.csv'') as fp:
for line in fp:
submitForm = FormRequest("https://domain.com/url",
formdata={''address'':line,
''submit'':''Search''},callback=self.after_submit,dont_filter=True)
return [submitForm]

Este código también funciona, pero recopila los datos de la última entrada solo en el archivo. Necesito recopilar datos para cada fila / número en el archivo. Si pruebo el rendimiento en lugar de devolver el filtro se detiene y da este error:

if not request.dont_filter and self.df.request_seen(request):
exceptions.AttributeError: ''list'' object has no attribute ''dont_filter''

Answer 1

Antes que nada, definitivamente necesitas yield para "disparar" múltiples solicitudes:

def start_requests(self):
with open(''C:/spiders/usps/zips.csv'') as fp:
for line in fp:
yield FormRequest("https://domain.com/url",
formdata={''address'':line, ''submit'':''Search''},
callback=self.after_submit,
dont_filter=True)

Además, no debe incluir FormRequest en una lista, solo ceda la solicitud.