multiple - python pandas dataframe groupby example

Cambiar el nombre de las columnas de resultados de la agregación de Pandas("FutureWarning: el uso de un dict con cambio de nombre está en desuso")

Question

Estoy tratando de hacer algunas agregaciones en un marco de datos de pandas. Aquí hay un código de muestra:

import pandas as pd
df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0]})
df.groupby(["User"]).agg({"Amount": {"Sum": "sum", "Count": "count"}})
Out[1]:
Amount
Sum Count
User
user1 18.0 2
user2 20.5 3
user3 10.5 1

Lo que genera la siguiente advertencia:

FutureWarning: el uso de un dict con cambio de nombre queda obsoleto y se eliminará en una versión futura return super (DataFrameGroupBy, self) .aggregate (arg, * args, ** kwargs)

¿Cómo puedo evitar esto?

Answer 1

Actualización para Pandas 0.25+ Reetiquetado de agregación

import pandas as pd print(pd.__version__) #0.25.0 df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1"], "Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0]}) df.groupby("User")[''Amount''].agg(Sum=''sum'', Count=''count'')

Salida:

Sum Count User user1 18.0 2 user2 20.5 3 user3 10.5 1

Answer 2

Use groupby apply y devuelva una serie para cambiar el nombre de las columnas

Use el método groupby apply para realizar una agregación que

• Renombra las columnas
• Permite espacios en los nombres
• Le permite ordenar las columnas devueltas de la forma que elija
• Permite interacciones entre columnas
• Devuelve un índice de nivel único y NO un índice múltiple

Para hacer esto:

• crea una función personalizada que pasas para apply
• Esta función personalizada se pasa a cada grupo como un DataFrame
• Devolver una serie
• El índice de la Serie serán las nuevas columnas.

Crea datos falsos

df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1", "user3"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0, 9],
''Score'': [9, 1, 8, 7, 7, 6, 9]})

crear una función personalizada que devuelve una serie
La variable x dentro de my_agg es un DataFrame

def my_agg(x):
names = {
''Amount mean'': x[''Amount''].mean(),
''Amount std'': x[''Amount''].std(),
''Amount range'': x[''Amount''].max() - x[''Amount''].min(),
''Score Max'': x[''Score''].max(),
''Score Sum'': x[''Score''].sum(),
''Amount Score Sum'': (x[''Amount''] * x[''Score'']).sum()}
return pd.Series(names, index=[''Amount range'', ''Amount std'', ''Amount mean'',
''Score Sum'', ''Score Max'', ''Amount Score Sum''])

Pase esta función personalizada al grupo mediante el método de apply

df.groupby(''User'').apply(my_agg)

El gran inconveniente es que esta función será mucho más lenta que agg para las agregaciones cythonized

Usar un diccionario con el método groupby agg

El uso de un diccionario de diccionarios fue eliminado debido a su complejidad y naturaleza algo ambigua. Hay una discusión en curso sobre cómo mejorar esta funcionalidad en el futuro en github Aquí, puede acceder directamente a la columna de agregación después de la llamada grupal. Simplemente pase una lista de todas las funciones de agregación que desea aplicar.

df.groupby(''User'')[''Amount''].agg([''sum'', ''count''])

Salida

 sum count
User
user1 18.0 2
user2 20.5 3
user3 10.5 1

Todavía es posible usar un diccionario para denotar explícitamente diferentes agregaciones para diferentes columnas, como aquí si hubiera otra columna numérica llamada Other .

df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0],
''Other'': [1,2,3,4,5,6]})
df.groupby(''User'').agg({''Amount'' : [''sum'', ''count''], ''Other'':[''max'', ''std'']})

Salida

 Amount Other
sum count max std
User
user1 18.0 2 6 3.535534
user2 20.5 3 5 1.527525
user3 10.5 1 4 NaN

Answer 3

Esto es lo que hice:

Crea un conjunto de datos falso:

import pandas as pd
df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1", "user3"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0, 9],
''Score'': [9, 1, 8, 7, 7, 6, 9]})
df

O / P:

 Amount Score User
0 10.0 9 user1
1 5.0 1 user2
2 8.0 8 user2
3 10.5 7 user3
4 7.5 7 user2
5 8.0 6 user1
6 9.0 9 user3

Primero hice al Usuario el índice, y luego un grupo por:

ans = df.set_index(''User'').groupby(level=0)[''Amount''].agg([(''Sum'',''sum''),(''Count'',''count'')])
ans

Solución:

 Sum Count
User
user1 18.0 2
user2 20.5 3
user3 19.5 2

Answer 4

Reemplace los diccionarios internos con una lista de funciones correctamente nombradas.

Para cambiar el nombre de la función, estoy usando esta función de utilidad:

def aliased_aggr(aggr, name):
if isinstance(aggr,str):
def f(data):
return data.agg(aggr)
else:
def f(data):
return aggr(data)
f.__name__ = name
return f

La declaración de grupo se convierte en:

df.groupby(["User"]).agg({"Amount": [
aliased_aggr("sum","Sum"),
aliased_aggr("count","Count")
]

Si tiene especificaciones de agregación más grandes y reutilizables, puede convertirlas con

def convert_aggr_spec(aggr_spec):
return {
col : [
aliased_aggr(aggr,alias) for alias, aggr in aggr_map.items()
]
for col, aggr_map in aggr_spec.items()
}

Entonces puedes decir

df.groupby(["User"]).agg(convert_aggr_spec({"Amount": {"Sum": "sum", "Count": "count"}}))

Ver también https://github.com/pandas-dev/pandas/issues/18366#issuecomment-476597674

Answer 5

Si reemplaza el diccionario interno con una lista de tuplas, se elimina el mensaje de advertencia

import pandas as pd
df = pd.DataFrame({"User": ["user1", "user2", "user2", "user3", "user2", "user1"],
"Amount": [10.0, 5.0, 8.0, 10.5, 7.5, 8.0]})
df.groupby(["User"]).agg({"Amount": [("Sum", "sum"), ("Count", "count")]})