python - example - scrapy vs beautifulsoup

Cómo usar la clase Rule en scrapy

Question

Estoy tratando de usar la clase Rule para ir a la siguiente página de mi rastreador. Aquí está mi código

from scrapy.contrib.spiders import CrawlSpider,Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from crawler.items import GDReview
class GdSpider(CrawlSpider):
name = "gd"
allowed_domains = ["glassdoor.com"]
start_urls = [
"http://www.glassdoor.com/Reviews/Johnson-and-Johnson-Reviews-E364_P1.htm"
]
rules = (
# Extract next links and parse them with the spider''s method parse_item
Rule(SgmlLinkExtractor(restrict_xpaths=(''//li[@class="next"]/a/@href'',)), follow= True)
)
def parse(self, response):
company_name = response.xpath(''//*[@id="EIHdrModule"]/div[3]/div[2]/p/text()'').extract()
''''''loop over every review in this page''''''
for sel in response.xpath(''//*[@id="EmployerReviews"]/ol/li''):
review = Item()
review[''company_name''] = company_name
review[''id''] = str(sel.xpath(''@id'').extract()[0]).split(''_'')[1] #sel.xpath(''@id/text()'').extract()
review[''body''] = sel.xpath(''div/div[3]/div/div[2]/p/text()'').extract()
review[''date''] = sel.xpath(''div/div[1]/div/time/text()'').extract()
review[''summary''] = sel.xpath(''div/div[2]/div/div[2]/h2/tt/a/span/text()'').extract()
yield review

Mi pregunta es sobre la sección de reglas. En esta regla, el enlace extraído no contiene el nombre de dominio. Por ejemplo, devolverá algo como "/Reviews/Johnson-and-Johnson-Reviews-E364_P1.htm"

¿Cómo puedo asegurarme de que mi rastreador anexará el dominio al enlace devuelto?

Gracias

Answer 1

Puede estar seguro ya que este es el comportamiento predeterminado de los extractores de enlaces en Scrapy ( código fuente ).

Además, el argumento restrict_xpaths no debe apuntar al atributo @href , sino que debe apuntar a a elemento o contenedor que tenga a elemento como descendiente. Además, restrict_xpaths se puede definir como una cadena.

En otras palabras, reemplace:

restrict_xpaths=(''//li[@class="next"]/a/@href'',)

con:

restrict_xpaths=''//li[@class="next"]/a''

Además, debe cambiar a LxmlLinkExtractor desde SgmlLinkExtractor :

Los extractores de enlaces basados ​​en SGMLParser no se mantienen y se desaconseja su uso. Se recomienda migrar a LxmlLinkExtractor si todavía está utilizando SgmlLinkExtractor.

Personalmente, suelo usar el atajo LxmlLinkExtractor para LxmlLinkExtractor :

from scrapy.contrib.linkextractors import LinkExtractor

Para resumir, esto es lo que tendría en las rules :

rules = [
Rule(LinkExtractor(restrict_xpaths=''//li[@class="next"]/a''), follow=True)
]