python - type - dplyr resumen equivalente en pandas

pandas summary

Question

Solía ​​trabajar con R y realmente me encanta el paquete dplyr que puede agrupar y resumir fácilmente.

Sin embargo, en pandas, no veo un equivalente de resumen y aquí es cómo lo logro en Python:

import pandas as pd
data = pd.DataFrame(
    {''col1'':[1,1,1,1,1,2,2,2,2,2],
    ''col2'':[1,2,3,4,5,6,7,8,9,0],
     ''col3'':[-1,-2,-3,-4,-5,-6,-7,-8,-9,0]
    }
)
result = []
for k,v in data.groupby(''col1''):
    result.append([k, max(v[''col2'']), min(v[''col3''])])
print pd.DataFrame(result, columns=[''col1'', ''col2_agg'', ''col3_agg''])

No solo es muy detallado, sino que puede que no sea el más optimizado y eficiente. (Solía ​​reescribir una implementación de for loop groupby en groupby.agg y la mejora de rendimiento era enorme).

En R el código será

data %>% groupby(col1) %>% summarize(col2_agg=max(col2), col3_agg=min(col3))

¿Hay un equivalente eficiente en Python o para bucle? Es con lo que tengo que trabajar.

también, @ayhan realmente dio una solución a mi respuesta, esta es una pregunta de seguimiento que enumeraré aquí en lugar del comentario:

cuál es el equivalente de groupby().summarize(newcolumn=max(col2 * col3))

Answer 1

Consulte la comparación lado a lado proporcionada por la documentación de Pandas aquí: http://pandas.pydata.org/pandas-docs/stable/comparison_with_r.html#grouping-and-summarizing

D''sr de R

gdf <- group_by(df, col1)
summarise(gdf, avg=mean(col1, na.rm=TRUE))  

Pandas

gdf = df.groupby(''col1'')
df.groupby(''col1'').agg({''col1'': ''mean''})

Answer 2

El equivalente de

df %>% groupby(col1) %>% summarize(col2_agg=max(col2), col3_agg=min(col3))

es

df.groupby(''col1'').agg({''col2'': ''max'', ''col3'': ''min''})

que devuelve

      col2  col3
col1            
1        5    -5
2        9    -9

El objeto devuelto es un pandas.DataFrame con un índice llamado col1 y columnas llamadas col2 y col2 . De forma predeterminada, cuando agrupa sus datos, los pandas establecen la (s) columna (s) de agrupación como índice para un acceso y modificación eficientes. Sin embargo, si no quieres eso, hay dos alternativas para establecer col1 como una columna.

• Pase as_index=False :

  df.groupby(''col1'', as_index=False).agg({''col2'': ''max'', ''col3'': ''min''})

• Llamar reset_index :

  df.groupby(''col1'').agg({''col2'': ''max'', ''col3'': ''min''}).reset_index()

ambos ceden

col1  col2  col3           
   1     5    -5
   2     9    -9

También puede pasar múltiples funciones a groupby.agg .

agg_df = df.groupby(''col1'').agg({''col2'': [''max'', ''min'', ''std''], 
                                 ''col3'': [''size'', ''std'', ''mean'', ''max'']})

Esto también devuelve un DataFrame pero ahora tiene un MultiIndex para columnas.

     col2               col3                   
      max min       std size       std mean max
col1                                           
1       5   1  1.581139    5  1.581139   -3  -1
2       9   0  3.535534    5  3.535534   -6   0

MultiIndex es muy útil para la selección y agrupación. Aquí hay unos ejemplos:

agg_df[''col2'']  # select the second column
      max  min       std
col1                    
1       5    1  1.581139
2       9    0  3.535534

agg_df[(''col2'', ''max'')]  # select the maximum of the second column
Out: 
col1
1    5
2    9
Name: (col2, max), dtype: int64

agg_df.xs(''max'', axis=1, level=1)  # select the maximum of all columns
Out: 
      col2  col3
col1            
1        5    -1
2        9     0

Anteriormente (antes de la versión 0.20.0 ) era posible usar diccionarios para cambiar el nombre de las columnas en la llamada agg . Por ejemplo

df.groupby(''col1'')[''col2''].agg({''max_col2'': ''max''})

devolvería el máximo de la segunda columna como max_col2 :

      max_col2
col1          
1            5
2            9

Sin embargo, fue desaprobado a favor del método de cambio de nombre:

df.groupby(''col1'')[''col2''].agg([''max'']).rename(columns={''max'': ''col2_max''})

      col2_max
col1          
1            5
2            9

Puede ser detallado para un DataFrame como agg_df definido anteriormente. Puede usar una función de cambio de nombre para aplanar esos niveles en ese caso:

agg_df.columns = [''_''.join(col) for col in agg_df.columns]

      col2_max  col2_min  col2_std  col3_size  col3_std  col3_mean  col3_max
col1                                                                        
1            5         1  1.581139          5  1.581139         -3        -1
2            9         0  3.535534          5  3.535534         -6         0

Para operaciones como groupby().summarize(newcolumn=max(col2 * col3)) , aún puede usar agg agregando primero una nueva columna con assign .

df.assign(new_col=df.eval(''col2 * col3'')).groupby(''col1'').agg(''max'') 

      col2  col3  new_col
col1                     
1        5    -1       -1
2        9     0        0

Esto devuelve el máximo para las columnas antiguas y nuevas, pero como siempre puede dividir eso.

df.assign(new_col=df.eval(''col2 * col3'')).groupby(''col1'')[''new_col''].agg(''max'')

col1
1   -1
2    0
Name: new_col, dtype: int64

Con groupby.apply esto sería más corto:

df.groupby(''col1'').apply(lambda x: (x.col2 * x.col3).max())

col1
1   -1
2    0
dtype: int64

Sin embargo, groupby.apply trata esto como una función personalizada por lo que no se vectoriza. Hasta ahora, las funciones que pasamos a agg (''min'', ''max'', ''min'', ''tamaño'', etc.) están vectorizadas y son alias para esas funciones optimizadas. Puede reemplazar df.groupby(''col1'').agg(''min'') con df.groupby(''col1'').agg(min) , df.groupby(''col1'').agg(np.min) o df.groupby(''col1'').min() y todos ejecutarán la misma función. No verá la misma eficiencia cuando use funciones personalizadas.

Finalmente, a partir de la versión 0.20, agg se puede usar directamente en DataFrames, sin tener que agrupar primero. Vea ejemplos here .