python - example - ¿Cómo implementar un elemento anidado en scrapy?

scrapy tutorial

Question

Estoy raspando algunos datos con información jerárquica compleja y necesito exportar el resultado a json.

Definí los artículos como

class FamilyItem():
    name = Field()
    sons = Field()

class SonsItem():
    name = Field()
    grandsons = Field()

class GrandsonsItem():
    name = Field()
    age = Field()
    weight = Field()
    sex = Field()

y cuando la araña se ejecute, obtendré una salida del artículo impreso como

{''name'': ''Jenny'',
   ''sons'': [
            {''name'': u''S1'',
             ''grandsons'': [
                   {''name'': u''GS1'',
                    ''age'': 18,
                    ''weight'': 50
                   },
                   {
                    ''name'':u''GS2'',
                    ''age'': 19,
                    ''weight'':51}]
                   }]
}

pero cuando ejecuto scrapy crawl myscaper -o a.json , siempre dice que el resultado "no es JSON serializable". Luego copio y pego la salida del elemento en la consola ipython y uso json.dumps (), funciona bien. Entonces, ¿dónde está el problema? esto me está volviendo loco ...

Answer 1

Al guardar los elementos anidados, asegúrese de envolverlos en una llamada a dict (), por ejemplo:

gs1 = GrandsonsItem()
gs1[''name''] = ''GS1''
gs1[''age''] = 18
gs1[''weight''] = 50

gs2 = GrandsonsItem()
gs2[''name''] = ''GS2''
gs2[''age''] = 19
gs2[''weight''] = 51

s1 = SonsItem()
s1[''name''] = ''S1''
s1[''grandsons''] = [dict(gs1), dict(gs2)]

jenny = FamilyItem()
jenny[''name''] = ''Jenny''
jenny[''sons''] = [dict(s1)]

Answer 2

No estoy seguro de si hay una manera de hacer elementos anidados en scrappy con clases pero los arreglos funcionan bien. Podrías hacer algo como esto:

grandson[''name''] = ''Grandson''
grandson[''age''] = 2
gransons.append(grandson)
son[''name''] = ''Son''
sons[''grandson''] = grandsons
sons.append(son)
item.name = ''Name''
item.son = sons