python - ¿Cómo aplanar un marco de datos pandas con algunas columnas como json?

dataframe flatten

Question

Tengo un df drama de datos que carga datos de una base de datos. La mayoría de las columnas son cadenas json, mientras que algunas son incluso listas de jsons. Por ejemplo:

id name columnA columnB
1 John {"dist": "600", "time": "0:12.10"} [{"pos": "1st", "value": "500"},{"pos": "2nd", "value": "300"},{"pos": "3rd", "value": "200"}, {"pos": "total", "value": "1000"}]
2 Mike {"dist": "600"} [{"pos": "1st", "value": "500"},{"pos": "2nd", "value": "300"},{"pos": "total", "value": "800"}]
...

Como puede ver, no todas las filas tienen el mismo número de elementos en las cadenas json para una columna.

Lo que tengo que hacer es mantener las columnas normales como id y name tal como están y aplanar las columnas json de esta manera:

id name columnA.dist columnA.time columnB.pos.1st columnB.pos.2nd columnB.pos.3rd columnB.pos.total
1 John 600 0:12.10 500 300 200 1000
2 Mark 600 NaN 500 300 Nan 800 

He intentado usar json_normalize así:

from pandas.io.json import json_normalize
json_normalize(df)

Pero parece que hay algunos problemas con keyerror . ¿Cuál es la forma correcta de hacer esto?

Answer 1

Aquí hay una solución que usa json_normalize() nuevamente usando una función personalizada para obtener los datos en el formato correcto entendido por la función json_normalize .

import ast
from pandas.io.json import json_normalize
def only_dict(d):
''''''
Convert json string representation of dictionary to a python dict
''''''
return ast.literal_eval(d)
def list_of_dicts(ld):
''''''
Create a mapping of the tuples formed after
converting json strings of list to a python list
''''''
return dict([(list(d.values())[1], list(d.values())[0]) for d in ast.literal_eval(ld)])
A = json_normalize(df[''columnA''].apply(only_dict).tolist()).add_prefix(''columnA.'')
B = json_normalize(df[''columnB''].apply(list_of_dicts).tolist()).add_prefix(''columnB.pos.'') 

Finalmente, únase a los DFs en el índice común para obtener:

df[[''id'', ''name'']].join([A, B])

EDITAR: - De acuerdo con el comentario de @MartijnPieters, la forma recomendada de decodificar las cadenas json sería usar json.loads() que es mucho más rápido en comparación con usar ast.literal_eval() si sabe que la fuente de datos es JSON .

Answer 2

Lo más rápido parece ser:

json_struct = json.loads(df.to_json(orient="records"))
df_flat = pf.io.json.json_normalize(json_struct)

Answer 3

cree una función personalizada para aplanar columnB luego use pd.concat

def flatten(js):
return pd.DataFrame(js).set_index(''pos'').squeeze()
pd.concat([df.drop([''columnA'', ''columnB''], axis=1),
df.columnA.apply(pd.Series),
df.columnB.apply(flatten)], axis=1)