python - tutorial - Diferencia de araña de Scrapy entre páginas rastreadas y artículos raspados

scrapy mercadolibre

Question

Estoy escribiendo un Scrapy CrawlSpider que lee una lista de anuncios en la primera página, toma algo de información como los pulgares de los listados y las direcciones de AD, luego da una solicitud a cada una de estas direcciones de AD para tomar sus detalles.

Estaba trabajando y paginando aparentemente bien en el entorno de prueba, pero hoy tratando de hacer una carrera completa me di cuenta de que en el registro:

Rastreó 3852 páginas (a 228 páginas / min), raspó 256 elementos (a 15 elementos / min)

No entiendo la razón de esta gran diferencia entre las páginas rastreadas y los artículos raspados. ¿Alguien puede ayudarme a darme cuenta de dónde se están perdiendo esos artículos?

Mi código araña:

class MySpider(CrawlSpider):
name = "myspider"
allowed_domains = ["myspider.com", "myspider.co"]
start_urls = [
"http://www.myspider.com/offers/myCity/typeOfAd/?search=fast",
]
#Pagination
rules = (
Rule (
SgmlLinkExtractor()
, callback=''parse_start_url'', follow= True),
)
#1st page
def parse_start_url(self, response):
hxs = HtmlXPathSelector(response)
next_page = hxs.select("//a[@class=''pagNext'']/@href").extract()
offers = hxs.select("//div[@class=''hlist'']")
for offer in offers:
myItem = myItem()
myItem[''url''] = offer.select(''.//span[@class="location"]/a/@href'').extract()[0]
myItem[''thumb''] = oferta.select(''.//div[@class="itemFoto"]/div/a/img/@src'').extract()[0]
request = Request(myItem[''url''], callback = self.second_page)
request.meta[''myItem''] = myItem
yield request
if next_page:
yield Request(next_page[0], callback=self.parse_start_url)
def second_page(self,response):
myItem = response.meta[''myItem'']
loader = myItemLoader(item=myItem, response=response)
loader.add_xpath(''address'', ''//span[@itemprop="streetAddress"]/text()'')
return loader.load_item()

Answer 1

Digamos que vas a tus primeras start_urls (en realidad solo tienes una) y en esta página solo hay un enlace de anclaje ( <a> ). Entonces tu araña rastrea la url href en este enlace y obtienes el control en tu devolución de llamada, parse_start_url . Y dentro de esta página tienes 5000 div''s con una clase hlist . Y supongamos que todas las 5000 de estas URL posteriores fueron devueltas 404, no encontradas.

En este caso, tendrías:

• Páginas rastreadas: 5001
• Artículos raspados: 0

Tomemos otro ejemplo: en su página de inicio de url tiene 5000 anclas, pero ninguna (como en cero) de esas páginas tiene ningún divs con un parámetro de clase de hlist .

En este caso, tendrías:

• Páginas rastreadas: 5001
• Artículos raspados: 0

Su respuesta se encuentra en la salida de registro de DEPURACIÓN.