python - scraping - scrapy vs beautifulsoup

La solicitud de Scrapy no pasa a la devolución de llamada cuando el 301?

Question

Estoy tratando de actualizar una base de datos llena de enlaces a sitios web externos, por alguna razón, se saltea la devolución de llamada cuando se mueven los encabezados de solicitud / sitio web / w / e / bandera 301

def start_requests(self):
#... database stuff
for x in xrange(0, numrows):
row = cur.fetchone()
item = exampleItem()
item[''real_id''] = row[0]
item[''product_id''] = row[1]
url = "http://www.example.com/a/-" + item[''real_id''] + ".htm"
log.msg("item %d request URL is %s" % (item[''product_id''], url), log.INFO) # shows right
request = scrapy.Request(url, callback=self.parse_url)
request.meta[''item''] = item
yield request
def parse_url(self, response):
item = response.meta[''item'']
item[''real_url''] = response.url
log.msg("item %d new URL is %s" % (item[''product_id''], item[''real_url'']), log.INFO) #doesnt even show the items that have redirected.

La versión de Scrapy es 0.24, ¿qué puedo hacer?

Dato interesante: solo ocurre con algunos de los enlaces rotos, incluso si son del mismo sitio web con las mismas URL exactas, etc.

Answer 1

Tuvo que pasar el parámetro dont_filter=True a la función de devolución de llamada de respuesta