examples - Python Pandas: ¿Se conserva la orden al usar groupby() y agg()?

python group by agg

Question

He frecuentado la función agg() pandas usada para ejecutar estadísticas de resumen en cada columna de un data.frame. Por ejemplo, aquí está cómo produciría la media y la desviación estándar:

df = pd.DataFrame({''A'': [''group1'', ''group1'', ''group2'', ''group2'', ''group3'', ''group3''],
''B'': [10, 12, 10, 25, 10, 12],
''C'': [100, 102, 100, 250, 100, 102]})
>>> df
[output]
A B C
0 group1 10 100
1 group1 12 102
2 group2 10 100
3 group2 25 250
4 group3 10 100
5 group3 12 102

En ambos casos, no importa el orden en que se envíen filas individuales a la función agg. Pero considere el siguiente ejemplo, que:

df.groupby(''A'').agg([np.mean, lambda x: x.iloc[1] ])
[output]
mean <lambda> mean <lambda>
A
group1 11.0 12 101 102
group2 17.5 25 175 250
group3 11.0 12 101 102

En este caso, la lambda funciona según lo previsto, dando salida a la segunda fila en cada grupo. Sin embargo, no he podido encontrar nada en la documentación de los pandas que implique que se garantiza que esto sea cierto en todos los casos. Quiero usar agg() junto con una función de promedio ponderado, por lo que quiero estar seguro de que las filas que entran en la función estarán en el mismo orden en que aparecen en el marco de datos original.

¿Alguien sabe, idealmente a través de algún lugar en el código fuente de los documentos o pandas, si este es el caso?

Answer 1

Aún más fácil:

 import pandas as pd
pd.pivot_table(df,index=''A'',aggfunc=(np.mean))

salida:

 B C
A
group1 11.0 101
group2 17.5 175
group3 11.0 101

Answer 2

El documento 0.19.1 de Panda dice "groupby conserva el orden de las filas dentro de cada grupo", por lo que este es un comportamiento garantizado.

http://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.groupby.html

Answer 3

Para conservar el orden, deberá pasar .groupby(..., sort=False) . En su caso, la columna de agrupación ya está ordenada, por lo que no hace ninguna diferencia, pero generalmente se debe usar el indicador sort=False :

 df.groupby(''A'', sort=False).agg([np.mean, lambda x: x.iloc[1] ])

Answer 4

Ver este issue mejora

La respuesta corta es sí, el groupby conservará los pedidos tal como fueron aprobados. Puede probar esto usando su ejemplo como este:

In [20]: df.sort_index(ascending=False).groupby(''A'').agg([np.mean, lambda x: x.iloc[1] ])
Out[20]:
B C
mean <lambda> mean <lambda>
A
group1 11.0 10 101 100
group2 17.5 10 175 100
group3 11.0 10 101 100

Sin embargo, esto NO es cierto para volver a muestrear, ya que requiere un índice monotónico (funcionará con un índice no monotónico, pero lo ordenará primero).

Su es una marca sort= to groupby, pero esto se relaciona con la clasificación de los grupos mismos y no con las observaciones dentro de un grupo.

Para su información: df.groupby(''A'').nth(1) es una forma segura de obtener el segundo valor de un grupo (ya que su método anterior fallará si un grupo tiene <2 elementos)