python - default_request_headers - scrapy requests

Problemas al escribir datos raspados en csv con caracteres eslavos(UnicodeEncodeError & TypeError)

Question

Resultado intencionado / deseado:

Para raspar los títulos del enlace (es decir, el texto de los enlaces con cada elemento) desde un sitio web checo:

https://www.bezrealitky.cz/vypis/nabidka-prodej/byt/praha

E imprima el resultado en un archivo CSV. Preferiblemente en una lista para que luego pueda manipular los datos en otro modelo de análisis de datos de Python.

Resultado / Problema:

Obtengo un UnicodeEncodeError y un TypeError. Sospecho que esto tiene que ver con los caracteres no normales que existen en el idioma checo. Por favor, ver más abajo para traceback.

Rastrear:

TypeError Traceback:

2017-01-19 08:00:18 [scrapy] ERROR: Error processing {''title'': b''/n Ob/xc4/x9bt/xc3/xad 6. kv/xc4/x9b''
b''tna, Praha - Kr/xc4/x8d ''}
Traceback (most recent call last):
File "C:/Users/phili/Anaconda3/envs/py35/lib/site-packages/twisted/internet/defer.py", line 651, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "C:/Users/phili/Documents/Python Scripts/Scrapy Spiders/bezrealitky/bezrealitky/pipelines.py", line 24, in process_item
self.exporter.export_item(item)
File "C:/Users/phili/Anaconda3/envs/py35/lib/site-packages/scrapy/exporters.py", line 193, in export_item
self._write_headers_and_set_fields_to_export(item)
File "C:/Users/phili/Anaconda3/envs/py35/lib/site-packages/scrapy/exporters.py", line 217, in _write_headers_and_set_fields_to_export
self.csv_writer.writerow(row)
File "C:/Users/phili/Anaconda3/envs/py35/lib/codecs.py", line 718, in write
return self.writer.write(data)
File "C:/Users/phili/Anaconda3/envs/py35/lib/codecs.py", line 376, in write
data, consumed = self.encode(object, self.errors)
TypeError: Can''t convert ''bytes'' object to str implicitly

UnicodeEncodeError Traceback:

2017-01-19 08:00:18 [scrapy] ERROR: Error processing {''title'': b''/n Ob/xc4/x9bt/xc3/xad 6. kv/xc4/x9b''
b''tna, Praha - Kr/xc4/x8d ''}
Traceback (most recent call last):
File "C:/Users/phili/Anaconda3/envs/py35/lib/site-packages/twisted/internet/defer.py", line 651, in _runCallbacks
current.result = callback(current.result, *args, **kw)
File "C:/Users/phili/Documents/Python Scripts/Scrapy Spiders/bezrealitky/bezrealitky/pipelines.py", line 24, in process_item
self.exporter.export_item(item)
File "C:/Users/phili/Anaconda3/envs/py35/lib/site-packages/scrapy/exporters.py", line 198, in export_item
self.csv_writer.writerow(values)
File "C:/Users/phili/Anaconda3/envs/py35/lib/encodings/cp1252.py", line 19, in encode
return codecs.charmap_encode(input,self.errors,encoding_table)[0]
UnicodeEncodeError: ''charmap'' codec can''t encode character ''/u011b'' in position 37: character maps to <undefined>

Situación / Proceso:

Estoy ejecutando el crawler crawl bezrealitky (es decir, el nombre de la araña). He configurado el pipeline con un CSVItemExporter que encontré en Internet, y traté de adaptarlo a la codificación UTF-8 al abrir el archivo (también lo intenté al principio sin agregar UTF-8, pero sí el mismo error).

Mi código de tubería:

from scrapy.conf import settings
from scrapy.exporters import CsvItemExporter
import codecs
class CsvPipeline(object):
def __init__(self):
self.file = codecs.open("booksdata.csv", ''wb'', encoding=''UTF-8'')
self.exporter = CsvItemExporter(self.file)
self.exporter.start_exporting()
def close_spider(self, spider):
self.exporter.finish_exporting()
self.file.close()
def process_item(self, item, spider):
self.exporter.export_item(item)
return item

Mi archivo de configuración:

BOT_NAME = ''bezrealitky''
SPIDER_MODULES = [''bezrealitky.spiders'']
NEWSPIDER_MODULE = ''bezrealitky.spiders''
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
''bezrealitky.pipelines.CsvPipeline'': 300,

Mi código araña:

class BezrealitkySpider(scrapy.Spider):
name = ''bezrealitky''
start_urls = [
''https://www.bezrealitky.cz/vypis/nabidka-prodej/byt/praha''
]
def parse(self, response):
item = BezrealitkyItem()
items = []
for records in response.xpath(''//*[starts-with(@class,"record")]''):
item[''title''] = response.xpath(''.//div[@class="details"]/h2/a[@href]/text()'').extract()[1].encode(''utf-8'')
items.append(item)
return(items)

Soluciones probadas hasta ahora:

• Para agregar y eliminar .encode (''utf-8) al comando extract (), y también en el pipeline.py pero no funcionó.
• También intenté agregar # - - codificación: utf-8 - - al principio, tampoco funcionó

• Traté de cambiar el código de python a utf-8 en la consola con esto:

  chcp 65001

  establecer PYTHONIOENCODING = utf-8

Conclusión:

No puedo obtener los datos eliminados para escribir en el archivo CSV, se crea el CSV pero no hay nada en él. A pesar de que en el intérprete de comandos puedo ver que los datos se eliminan pero no se decodifican / codifican correctamente y arrojan un error antes de que se escriban en el archivo.

Soy un completo principiante con esto, solo trato de elegir Scrapy. Realmente agradecería cualquier ayuda que pueda obtener!

Answer 1

Lo que uso para raspar los sitios web checos y evitar estos errores es el módulo unidecode . Lo que hace este módulo es una transliteración ASCII de texto Unicode.

# -*- coding: utf-8 -*-
from unidecode import unidecode
class BezrealitkySpider(scrapy.Spider):
name = ''bezrealitky''
start_urls = [
''https://www.bezrealitky.cz/vypis/nabidka-prodej/byt/praha''
]
def parse(self, response):
item = BezrealitkyItem()
items = []
for records in response.xpath(''//*[starts-with(@class,"record")]''):
item[''title''] = unidecode(response.xpath(''.//div[@class="details"]/h2/a[@href]/text()'').extract()[1].encode(''utf-8''))
items.append(item)
return(items)

Dado que uso un ItemLoader mi código se ve así:

# -*- coding: utf-8 -*-
from scrapy.loader import ItemLoader
class BaseItemLoader(ItemLoader):
title_in = MapCompose(unidecode)