python - method - pandas groupby

Python Pandas: cómo agregar una columna totalmente nueva a un marco de datos dentro de una operación groupby/transform

Question

Quiero marcar algunos cuantiles en mis datos, y para cada fila del DataFrame, me gustaría la entrada en una nueva columna llamada, por ejemplo, "xtile" para mantener este valor.

Por ejemplo, supongamos que creo un marco de datos como este:

import pandas, numpy as np
dfrm = pandas.DataFrame({''A'':np.random.rand(100), 
                         ''B'':(50+np.random.randn(100)), 
                         ''C'':np.random.randint(low=0, high=3, size=(100,))})

Y digamos que escribo mi propia función para calcular el quintil de cada elemento en una matriz. Tengo mi propia función para esto, pero por ejemplo solo me refiero a scipy.stats.mstats.mquantile.

import scipy.stats as st
def mark_quintiles(x, breakpoints):
    # Assume this is filled in, using st.mstats.mquantiles.
    # This returns an array the same shape as x, with an integer for which
    # breakpoint-bucket that entry of x falls into.

Ahora, la verdadera pregunta es cómo usar la transform para agregar una nueva columna a los datos. Algo como esto:

def transformXtiles(dataFrame, inputColumnName, newColumnName, breaks):
    dataFrame[newColumnName] = mark_quintiles(dataFrame[inputColumnName].values, 
                                              breaks)
    return dataFrame

Y entonces:

dfrm.groupby("C").transform(lambda x: transformXtiles(x, "A", "A_xtile", [0.2, 0.4, 0.6, 0.8, 1.0]))

El problema es que el código anterior no agregará la nueva columna "A_xtile". Simplemente devuelve mi marco de datos sin cambios. Si agrego primero una columna llena de valores ficticios, como NaN, llamada "A_xtile", entonces sobrescribe satisfactoriamente esta columna para incluir las marcas correctas del quintil.

Pero es extremadamente inconveniente tener que escribir primero en la columna para algo como esto que pueda querer agregar sobre la marcha.

Tenga en cuenta que una apply simple no funcionará aquí, ya que no sabrá cómo dar sentido a las matrices de resultados de diferentes tamaños para cada grupo.

Answer 1

¿Con qué problemas te encuentras? Funciona para este ejemplo de juguete aquí y las longitudes de grupo son diferentes:

In [82]: df
Out[82]: 
   X         Y
0  0 -0.631214
1  0  0.783142
2  0  0.526045
3  1 -1.750058
4  1  1.163868
5  1  1.625538
6  1  0.076105
7  2  0.183492
8  2  0.541400
9  2 -0.672809

In [83]: def func(x):
   ....:     x[''NewCol''] = np.nan
   ....:     return x
   ....: 

In [84]: df.groupby(''X'').apply(func)
Out[84]: 
   X         Y  NewCol
0  0 -0.631214     NaN
1  0  0.783142     NaN
2  0  0.526045     NaN
3  1 -1.750058     NaN
4  1  1.163868     NaN
5  1  1.625538     NaN
6  1  0.076105     NaN
7  2  0.183492     NaN
8  2  0.541400     NaN
9  2 -0.672809     NaN