python - seleccionar - recorrer data frame pandas

¿Cómo accedo a los objetos json incrustados en un Pandas DataFrame?

Question

TL; DR Si los campos cargados en un Pandas DataFrame contienen documentos JSON, ¿cómo se puede trabajar de forma similar a los pandas?

Actualmente estoy volcando directamente los resultados json / dictionary de una biblioteca de Twitter ( twython ) en una colección de Mongo (llamados usuarios aquí).

from twython import Twython
from pymongo import MongoClient
tw = Twython(...<auth>...)
# Using mongo as object storage
client = MongoClient()
db = client.twitter
user_coll = db.users
user_batch = ... # collection of user ids
user_dict_batch = tw.lookup_user(user_id=user_batch)
for user_dict in user_dict_batch:
if(user_coll.find_one({"id":user_dict[''id'']}) == None):
user_coll.insert(user_dict)

Después de poblar esta base de datos, leí los documentos en pandas:

# Pull straight from mongo to pandas
cursor = user_coll.find()
df = pandas.DataFrame(list(cursor))

Que funciona como magia:

Me gustaría poder modificar el estilo Pandas del campo ''estado'' (accediendo directamente a los atributos). ¿Hay alguna manera?

EDITAR: Algo así como df [''status: text'']. El estado tiene campos como ''text'', ''created_at''. Una opción podría ser aplastar / normalizar este campo JSON, como esta solicitud de extracción en la que Wes McKinney estaba trabajando.

Answer 1

Una solución es simplemente aplastarla con el constructor de la serie:

In [1]: df = pd.DataFrame([[1, {''a'': 2}], [2, {''a'': 1, ''b'': 3}]])
In [2]: df
Out[2]:
0 1
0 1 {u''a'': 2}
1 2 {u''a'': 1, u''b'': 3}
In [3]: df[1].apply(pd.Series)
Out[3]:
a b
0 2 NaN
1 1 3

En algunos casos, deseará concaturar esto al DataFrame en lugar de la fila dict:

In [4]: dict_col = df.pop(1) # here 1 is the column name
In [5]: pd.concat([df, dict_col.apply(pd.Series)], axis=1)
Out[5]:
0 a b
0 1 2 NaN
1 2 1 3

Si se profundiza, puedes hacer esto unas cuantas veces ...