Scrapy: datos extraídos

Descripción

La mejor manera de almacenar datos extraídos es mediante las exportaciones de feeds, lo que garantiza que los datos se almacenen correctamente utilizando múltiples formatos de serialización. JSON, líneas JSON, CSV, XML son los formatos que se admiten fácilmente en los formatos de serialización. Los datos se pueden almacenar con el siguiente comando:

scrapy crawl dmoz -o data.json

Este comando creará un data.jsonarchivo que contiene datos extraídos en JSON. Esta técnica es válida para pequeñas cantidades de datos. Si se tiene que manejar una gran cantidad de datos, podemos usar Item Pipeline. Al igual que el archivo data.json, se configura un archivo reservado cuando se crea el proyecto entutorial/pipelines.py.