django - Llaves extranjeras en Scrapy

django-models web-scraping

Question

Estoy haciendo una chatarra con scrapy y mi modelo en django es:

class Creative(models.Model):
name = models.CharField(max_length=200)
picture = models.CharField(max_length=200, null = True)
class Project(models.Model):
title = models.CharField(max_length=200)
description = models.CharField(max_length=500, null = True)
creative = models.ForeignKey(Creative)
class Image(models.Model):
url = models.CharField(max_length=500)
project = models.ForeignKey(Project)

Y mi modelo de scrapy:

from scrapy.contrib.djangoitem import DjangoItem
from app.models import Project, Creative
class ProjectItems(DjangoItem):
django_model = Project
class CreativeItems(DjangoItem):
django_model = Creative

Entonces cuando ahorro

creative["name"] = hxs.select(''//*[@id="owner"]/text()'').extract()[0]
picture = hxs.select(''//*[@id="owner-icon"]/a/img/@src'').extract()
if len(picture)>0:
creative["picture"] = picture[0]
creative.save()
# Extract title and description of the project
project["title"] = hxs.select(''//*[@id="project-title"]/text()'').extract()[0]
description = hxs.select(''//*[@class="project-description"]/text()'').extract()
if len(description)>0:
project["description"] = description[0]
project["creative"] = creative
project.save()

Obtuve el error:

Project.creative "debe ser una instancia" Creativa ".

Entonces, ¿cómo puedo agregar un valor de clave externa en scrapy?

Answer 1

Como se hizo aquí , coloque el ID de su creatividad directamente en creative_id, debería funcionar, creo:

 project["creative_id"] = creative.id

Especificará la clave externa, sin molestarte con el objeto que falta (porque estás en un entorno de Scrapy donde no tocas directamente los objetos del modelo ...).

Answer 2

Esto se puede hacer asignando el valor de retorno de creative.save() al valor en el project[''creative''] Entonces, por ejemplo, en el siguiente ejemplo usamos la variable djangoCreativeItem para pasar esta información al proyecto:

creative["name"] = hxs.select(''//*[@id="owner"]/text()'').extract()[0]
picture = hxs.select(''//*[@id="owner-icon"]/a/img/@src'').extract()
if len(picture)>0:
creative["picture"] = picture[0]
djangoCreativeItem = creative.save()
# Extract title and description of the project
project["title"] = hxs.select(''//*[@id="project-title"]/text()'').extract()[0]
description = hxs.select(''//*[@class="project-description"]/text()'').extract()
if len(description)>0:
project["description"] = description[0]
project["creative"] = djangoCreativeItem
project.save()