python - spider - cheque araña scrapy

scrapy spider

Question

así que estoy intentando raspar el sitio web en los parámetros de SgmlLinkExtractor debajo del sitio web con scrapy, y así es como se ve mi araña:

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from desidime_sample.items import DesidimeItem
import string
class DesidimeSpider(CrawlSpider):
name = "desidime"
allowed_domains = ["desidime.com"]
start_urls = ["http://www.desidime.com/forums/hot-deals-online"]
rules = (
Rule(SgmlLinkExtractor(allow=(), restrict_xpaths=(''''''//td[not(@*)]/div
[not(@*)]/a[not(@class)]/@href'''''')), callback="parse_items", follow=True),
)
def parse_items(self, response):
hxs = HtmlXPathSelector(response)
deals = hxs.select(''''''//div[@class=''user-comment-text''][1]'''''')
items = []
for deals in deals:
item = DesidimeItem()
item["deal"] = deals.select("//div[@class=''user-comment-text''][1]/p/text()").extract()
item["link"] = deals.select("//div[@class=''user-comment-text''][1]/p[1]/a[1]/@href").extract()
items.append(item)
return items

Debería ser bastante obvio lo que trato de hacer, pero por alguna razón cuando le digo a la araña que rastree y exporte el texto y los enlaces al archivo CVS, termino con:

enlace, tratar http://wwww.facebook.com/desidime , http://wwww.facebook.com/desidime , (lo mismo para muchas líneas más, luego :) ",,", "misma URL", (mismo cosa para muchas más líneas, entonces :) "enlace, ofertas"

Entonces, ¿alguien puede decirme cuál es el problema? Si ejecuta cada uno de mis xpaths anteriores como reponse.xpath("xpath").extract() scrapy shell "//corresponingcrawlruleurl" reponse.xpath("xpath").extract() después de scrapy shell "//corresponingcrawlruleurl" , obtendrá los resultados correctos.

Answer 1

El problema está dentro de la parse_items llamada parse_items . Cuando itera sobre las ofertas, los localizadores específicos del contexto de oferta deben ser relativos. En otras palabras, inicie sus expresiones XPath dentro del ciclo con un punto:

def parse_items(self, response):
for deal in response.xpath("//div[@class=''user-comment-text''][1]"):
item = DesidimeItem()
item["deal"] = deal.xpath(".//p/text()").extract()
item["link"] = deal.xpath(".//p[1]/a[1]/@href").extract()
yield item

(Tenga en cuenta que también he simplificado el código).

Aquí está la araña completa, la estoy ejecutando (raspa el texto y los enlaces, aunque no sé cuál es tu resultado deseado):

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
class DesidimeItem(scrapy.Item):
deal = scrapy.Field()
link = scrapy.Field()
class DesidimeSpider(CrawlSpider):
name = "desidime"
allowed_domains = ["desidime.com"]
start_urls = ["http://www.desidime.com/forums/hot-deals-online"]
rules = [
Rule(LinkExtractor(restrict_xpaths="//td[not(@*)]/div[not(@*)]/a[not(@class)]"),
callback="parse_items",
follow=True),
]
def parse_items(self, response):
for deal in response.xpath("//div[@class=''user-comment-text''][1]"):
item = DesidimeItem()
item["deal"] = deal.xpath(".//p/text()").extract()
item["link"] = deal.xpath(".//p[1]/a[1]/@href").extract()
yield item