spider - selenium python

¿Problemas al intentar rastrear enlaces dentro de enlaces visitados con scrapy?

Question

Para aprender scrapy, estoy tratando de rastrear algunas URL internas de una lista de start_urls . El problema es que no todos los elementos de start_urls tienen urls internas (aquí me gustaría devolver NaN ). Por lo tanto, ¿cómo puedo devolver el siguiente 2 dataframe de columna (**) :

visited_link, extracted_link
https://www.example1.com, NaN
https://www.example2.com, NaN
https://www.example3.com, https://www.extracted-link3.com

Hasta ahora, intenté:

En:

# -*- coding: utf-8 -*-
class ToySpider(scrapy.Spider):
name = "toy_example"
allowed_domains = ["www.example.com"]
start_urls = [''https:example1.com'',
''https:example2.com'',
''https:example3.com'']
def parse(self, response):
links = response.xpath(".//*[@id=''object'']//tbody//tr//td//span//a")
lis_ = []
for l in links:
item = ToyCrawlerItem()
item[''visited_link''] = response.url
item[''extracted_link''] = l.xpath(''@href'').extract_first()
yield item
lis_.append(item)
df = pd.DataFrame(lis_)
print(''/n/n/n/n/n'', df, ''/n/n/n/n/n'')
df.to_csv(''/Users/user/Desktop/crawled_table.csv'', index=False)

Sin embargo, el código anterior me lo devuelve:

Fuera:

extracted_link,visited_link
https://www.extracted-link.com,https://www.example1.com

Traté de gestionar los valores de emisión None con:

 if l == None:
item[''visited_link''] = ''NaN''
else:
item[''visited_link''] = response.url

Pero no está funcionando, ninguna idea de cómo obtener (**)

* sí, un marco de datos, sé que puedo hacer -o , pero haré operaciones de dataframe.

ACTUALIZAR

Después de leer la respuesta de @rrschmidt intenté:

def parse(self, response):
links = response.xpath(".//*[@id=''object'']//tbody//tr//td//span//a[2]")
lis_ = []
for l in links:
item = ToyItem()
if len(l) == 0:
item[''visited_link''] = ''NaN''
else:
item[''visited_link''] = response.url
#item[''visited_link''] = response.url
item[''extracted_link''] = l.xpath(''@href'').extract_first()
yield item
print(''/n/n/n Aqui:/n/n'', item, "/n/n/n")
lis_.append(item)
df = pd.DataFrame(lis_)
print(''/n/n/n/n/n'', df, ''/n/n/n/n/n'')
df.to_csv(''/Users/user/Desktop/crawled_table.csv'', index=False)

Sin embargo, todavía me devolvió la misma salida incorrecta. ¿Alguien podría ayudarme a aclarar este problema?

Answer 1

Por lo que puedo ver, hay dos problemas con tu raspador:

1. como se llama a cada elemento en start_urls y está creando y guardando un nuevo dataframe para cada enlace, los dataframes que está generando se sobrescriben entre sí.

Es por eso que siempre tendrá un solo resultado en su crawled_table.csv

Solución para esto: cree el marco de datos solo una vez y presione todos los elementos en el mismo objeto de marco de datos.

A continuación, guarde el marco de datos en cada llamada de parse , en caso de que el raspador se detenga antes de finalizar.

2. if l == None: no funcionará como response.xpath devuelve una lista vacía si no se encontraron coincidencias. Así que if len(l) == 0: debería hacer

En una esencia, así es como estructuraría el raspador (¡código no probado!)

# -*- coding: utf-8 -*-
class ToySpider(scrapy.Spider):
name = "toy_example"
allowed_domains = ["www.example.com"]
start_urls = [''https:example1.com'',
''https:example2.com'',
''https:example3.com'']
df = pd.DataFrame()
def parse(self, response):
links = response.xpath(".//*[@id=''object'']//tbody//tr//td//span//a[2]")
items = []
if len(links) == 0:
item = ToyItem()
# build item with visited_link = NaN here
item[''visited_link''] = response.url
item[''extracted_link''] = ''NaN''
items.append(item)
else:
for l in links:
item = ToyItem()
# build the item as you previously did here
item[''visited_link''] = response.url
item[''extracted_link''] = l.xpath(''@href'').extract_first()
items.append(item)
items_df = pd.DataFrame(items)
self.df = self.df.append(items_df, ignore_index=True)
print(''/n/n/n/n/n'', self.df, ''/n/n/n/n/n'')
self.df.to_csv(''/Users/user/Desktop/crawled_table.csv'', index=False)
return items