python - library - Scrapy crawl extra enlaces

scrapy python español

Question

Necesito rastrear un sitio web y rastrear cada URL de ese sitio en un xpath específico, por ejemplo: necesito rastrear " http://someurl.com/world/ " que tiene 10 enlaces en el contenedor (xpath ("/ / div [@ class = ''pane-content''] ")) y necesito rastrear todos esos 10 enlaces y extraer imágenes de ellos, pero los enlaces en" http://someurl.com/world/ "parecen" http : //someurl.com/node/xxxx "

lo que tengo hasta ahora

import scrapy
from scrapy.contrib.spiders import Rule, CrawlSpider
from scrapy.contrib.linkextractors import LinkExtractor
from imgur.items import ImgurItem

class ImgurSpider(CrawlSpider):
    name = ''imgur''
    allowed_domains = [''someurl.com/'']
    start_urls = [''http://someurl.com/news'']
    rules = [Rule(LinkExtractor(allow=(''/node/.*'')), callback=''parse_imgur'', follow=True)]

    def parse_imgur(self, response):
        image = ImgurItem()
        image[''title''] = response.xpath(/
            "//h1[@class=''pane-content'']/a/text()").extract()
        rel = response.xpath("//img/@src").extract()
        image[''image_urls''] = response.xpath("//img/@src").extract()
        return image

Answer 1

Puede volver a escribir su ''Regla'' para acomodar todos sus requisitos como:

rules = [Rule(LinkExtractor(allow=(''/node/.*'',), restrict_xpaths=(''//div[@class="pane-content"]'',)), callback=''parse_imgur'', follow=True)]

Para descargar imágenes de los enlaces de imágenes extraídos, puede utilizar el ImagePipeline agrupado de Scrapy.