python - tablas - Use groupby en Pandas para contar cosas en una columna en comparación con otra

seleccionar columnas de un dataframe pandas

Question

Quizás groupby es el enfoque equivocado. Parece que debería funcionar, pero no lo veo ...

Quiero agrupar un evento por su resultado. Aquí está mi DataFrame (df):

Status Event
SUCCESS Run
SUCCESS Walk
SUCCESS Run
FAILED Walk

Aquí está mi resultado deseado:

Event SUCCESS FAILED
Run 2 1
Walk 0 1

Estoy tratando de hacer un objeto agrupado, pero no puedo entender cómo llamarlo para mostrar lo que quiero.

grouped = df[''Status''].groupby(df[''Event''])

Answer 1

Aquí hay un enfoque basado en NumPy:

# Get unique header strings for input dataframes
unq1,ID1 = np.unique(df[''Event''],return_inverse=True)
unq2,ID2 = np.unique(df[''Status''],return_inverse=True)
# Get linear indices/tags corresponding to grouped headers
tag = ID1*(ID2.max()+1) + ID2
# Setup 2D Numpy array equivalent of expected Dataframe
out = np.zeros((len(unq1),len(unq2)),dtype=int)
unqID, count = np.unique(tag,return_counts=True)
np.put(out,unqID,count)
# Finally convert to Dataframe
df_out = pd.DataFrame(out,columns=unq2)
df_out.index = unq1

Entrada de muestra, salida en un caso más genérico:

In [179]: df
Out[179]:
Event Status
0 Sit PASS
1 Run SUCCESS
2 Walk SUCCESS
3 Run PASS
4 Run SUCCESS
5 Walk FAILED
6 Walk PASS
In [180]: df_out
Out[180]:
FAILED PASS SUCCESS
Run 0 1 2
Sit 0 1 0
Walk 1 1 1

Answer 2

Lo haría:

df.groupby(''Event'').Status.value_counts().unstack().fillna(0)

Sincronización

Answer 3

Una solución alternativa, utilizando el método pivot_table() :

In [5]: df.pivot_table(index=''Event'', columns=''Status'', aggfunc=len, fill_value=0)
Out[5]:
Status FAILED SUCCESS
Event
Run 0 2
Walk 1 1

Tiempo contra 700K DF:

In [74]: df.shape
Out[74]: (700000, 2)
In [75]: # (c) Merlin
In [76]: %%timeit
....: pd.crosstab(df.Event, df.Status)
....:
1 loop, best of 3: 333 ms per loop
In [77]: # (c) piRSquared
In [78]: %%timeit
....: df.groupby(''Event'').Status.value_counts().unstack().fillna(0)
....:
1 loop, best of 3: 325 ms per loop
In [79]: # (c) MaxU
In [80]: %%timeit
....: df.pivot_table(index=''Event'', columns=''Status'',
....: aggfunc=len, fill_value=0)
....:
1 loop, best of 3: 367 ms per loop
In [81]: # (c) ayhan
In [82]: %%timeit
....: (df.assign(ones = np.ones(len(df)))
....: .pivot_table(index=''Event'', columns=''Status'',
....: aggfunc=np.sum, values = ''ones'')
....: )
....:
1 loop, best of 3: 264 ms per loop
In [83]: # (c) Divakar
In [84]: %%timeit
....: unq1,ID1 = np.unique(df[''Event''],return_inverse=True)
....: unq2,ID2 = np.unique(df[''Status''],return_inverse=True)
....: # Get linear indices/tags corresponding to grouped headers
....: tag = ID1*(ID2.max()+1) + ID2
....: # Setup 2D Numpy array equivalent of expected Dataframe
....: out = np.zeros((len(unq1),len(unq2)),dtype=int)
....: unqID, count = np.unique(tag,return_counts=True)
....: np.put(out,unqID,count)
....: # Finally convert to Dataframe
....: df_out = pd.DataFrame(out,columns=unq2)
....: df_out.index = unq1
....:
1 loop, best of 3: 2.25 s per loop

Conclusión: la solución de @ ayhan actualmente gana:

(df.assign(ones = np.ones(len(df)))
.pivot_table(index=''Event'', columns=''Status'', values = ''ones'',
aggfunc=np.sum, fill_value=0)
)

Answer 4

prueba esto:

 pd.crosstab(df.Event, df.Status)
Status FAILED SUCCESS
Event
Run 0 2
Walk 1 1
len("df.groupby(''Event'').Status.value_counts().unstack().fillna(0)")
61
len("df.pivot_table(index=''Event'', columns=''Status'', aggfunc=len, fill_value=0)")
74
len("pd.crosstab(df.Event, df.Status)")
32