python - for - groupby examples

Pandas de Python-filas de filtro después de groupby

Question

Por ejemplo, tengo la siguiente tabla:

index,A,B
0,0,0
1,0,8
2,0,8
3,1,0
4,1,5

Después de agrupar por A :

0:
index,A,B
0,0,0
1,0,8
2,0,8
1:
index,A,B
3,1,5
4,1,3

Lo que necesito es dejar filas de cada grupo, donde el número en la columna B es menor que el valor máximo de todas las filas de la columna B del grupo. Bueno, tengo un problema al traducir y formular este problema al inglés, así que aquí está el ejemplo:

Valor máximo de las filas en la columna B en el grupo 0 : 8

Así que quiero soltar la fila con el índice 0 y mantener las filas con los índices 1 y 2

Valor máximo de las filas en la columna B en el grupo 1 : 5

Así que quiero soltar la fila con el índice 4 y mantener la fila con el índice 3

He intentado utilizar la función de filtro de pandas, pero el problema es que está funcionando en todas las filas del grupo a la vez:

data = <example table>
grouped = data.groupby("A")
filtered = grouped.filter(lambda x: x["B"] == x["B"].max())

Entonces, lo que idealmente necesito es algún filtro, que itere a través de todas las filas del grupo.

¡Gracias por la ayuda!

PD: ¿Hay también forma de eliminar solo filas en grupos y no devolver el objeto DataFrame ?

Answer 1

EDITAR: Acabo de aprender una manera mucho más .transform hacer esto usando el grupo .transform por método:

def get_max_rows(df):
B_maxes = df.groupby(''A'').B.transform(max)
return df[df.B == B_maxes]

B_maxes es una serie que se indiza de forma idéntica como el df original que contiene el valor máximo de B para cada grupo A Puede pasar muchas funciones al método de transformación. Creo que una vez que tienen salida, ya sea como un escalar o vector de la misma longitud. Incluso puede pasar algunas cadenas como nombres de funciones comunes como ''median'' . Esto es ligeramente diferente al método de Paul H porque ''A'' no será un índice en el resultado, pero puede establecerlo fácilmente después.

import numpy as np
import pandas as pd
df_lots_groups = pd.DataFrame(np.random.rand(30000, 3), columns = list(''BCD'')
df_lots_groups[''A''] = np.random.choice(range(10000), 30000)
%timeit get_max_rows(df_lots_groups)
100 loops, best of 3: 2.86 ms per loop
%timeit df_lots_groups.groupby(''A'').apply(lambda df: df[ df.B == df.B.max()])
1 loops, best of 3: 5.83 s per loop

EDITAR:

Aquí hay una abstracción que le permite seleccionar filas de grupos usando cualquier operador de comparación válido y cualquier método de groupby válido:

def get_group_rows(df, group_col, condition_col, func=max, comparison=''==''):
g = df.groupby(group_col)[condition_col]
condition_limit = g.transform(func)
df.query(''condition_col {} @condition_limit''.format(comparison))

Entonces, por ejemplo, si quiere que todas las filas estén por encima del valor B mediano en cada grupo A al que llama

get_group_rows(df, ''A'', ''B'', ''median'', ''>'')

Algunos ejemplos:

%timeit get_group_rows(df_lots_small_groups, ''A'', ''B'', ''max'', ''=='')
100 loops, best of 3: 2.84 ms per loop
%timeit get_group_rows(df_lots_small_groups, ''A'', ''B'', ''mean'', ''!='')
100 loops, best of 3: 2.97 ms per loop

Answer 2

Este es el otro ejemplo para: Filtrar las filas con el valor máximo después de la operación groupby utilizando idxmax () y .loc ()

In [465]: import pandas as pd
In [466]: df = pd.DataFrame({
''sp'' : [''MM1'', ''MM1'', ''MM1'', ''MM2'', ''MM2'', ''MM2''],
''mt'' : [''S1'', ''S1'', ''S3'', ''S3'', ''S4'', ''S4''],
''value'' : [3,2,5,8,10,1]
})
In [467]: df
Out[467]:
mt sp value
0 S1 MM1 3
1 S1 MM1 2
2 S3 MM1 5
3 S3 MM2 8
4 S4 MM2 10
5 S4 MM2 1
### Here, idxmax() finds the indices of the rows with max value within groups,
### and .loc() filters the rows using those indices :
In [468]: df.loc[df.groupby(["mt"])["value"].idxmax()]
Out[468]:
mt sp value
0 S1 MM1 3
3 S3 MM2 8
4 S4 MM2 10

Answer 3

Solo necesita usar apply en el objeto groupby . Modifiqué tus datos de ejemplo para hacer esto un poco más claro:

import pandas
from io import StringIO
csv = StringIO("""index,A,B
0,1,0.0
1,1,3.0
2,1,6.0
3,2,0.0
4,2,5.0
5,2,7.0""")
df = pandas.read_csv(csv, index_col=''index'')
groups = df.groupby(by=[''A''])
print(groups.apply(lambda g: g[g[''B''] == g[''B''].max()]))

Que impresiones:

 A B
A index
1 2 1 6
2 4 2 7