python - seleccionar - seleccione la N más grande de una columna de cada grupo por grupo usando pandas

python and pandas

Question

Mi df:

{''city1'': {0: ''Chicago'',
1: ''Chicago'',
2: ''Chicago'',
3: ''Chicago'',
4: ''Miami'',
5: ''Houston'',
6: ''Austin''},
''city2'': {0: ''Toronto'',
1: ''Detroit'',
2: ''St.Louis'',
3: ''Miami'',
4: ''Dallas'',
5: ''Dallas'',
6: ''Dallas''},
''p234_r_c'': {0: 5.0, 1: 4.0, 2: 2.0, 3: 0.5, 4: 1.0, 5: 4.0, 6: 3.0},
''plant1_type'': {0: ''COMBCYCL'',
1: ''COMBCYCL'',
2: ''NUKE'',
3: ''COAL'',
4: ''NUKE'',
5: ''COMBCYCL'',
6: ''COAL''},
''plant2_type'': {0: ''COAL'',
1: ''COAL'',
2: ''COMBCYCL'',
3: ''COMBCYCL'',
4: ''COAL'',
5: ''NUKE'',
6: ''NUKE''}}

Quiero hacer 2 operaciones groupby y tomar el 1 más grande de cada grupo usando la columna p234_r_c .

1st groupby = [''plant1_type'', ''plant2_type'', ''city1'']

2nd groupby = [''plant1_type'', ''plant2_type'', ''city2'']

Como tal, hago lo siguiente:

df.groupby([''plant1_type'',''plant2_type'',''city1''])[''p234_r_c'']./
nlargest(1).reset_index()
plant1_type plant2_type city1 level_3 p234_r_c
0 COAL COMBCYCL Chicago 3 0.5
1 COAL NUKE Austin 6 3.0
2 COMBCYCL COAL Chicago 0 5.0
3 COMBCYCL NUKE Houston 5 4.0
4 NUKE COAL Miami 4 1.0
5 NUKE COMBCYCL Chicago 2 2.0

El resultado del primer grupo tiene sentido. Sin embargo, estoy confundido por el resultado del segundo grupo por:

df.groupby([''plant1_type'',''plant2_type'',''city2''])[''p234_r_c'']./
nlargest(1).reset_index()
index p234_r_c
0 0 5.0
1 1 4.0
2 2 2.0
3 3 0.5
4 4 1.0
5 5 4.0
6 6 3.0

¿Qué pasó con las columnas plant1_type , plant2_type y city2 en el resultado? ¿No deberían aparecer en el resultado del mismo modo que plant1_type , plant2_type y city1 en el resultado del 1st groupby?

Answer 1

Agregué un problema aquí

Teoría:

Cuando los resultados de un groupby en un pd.Series devuelven los mismos valores de pd.Series , se devuelve el índice original.

Ejemplo de hervir

df = pd.DataFrame(dict(A=[0, 1, 2, 3]))
# returns results identical to df.A
print(df.groupby(df.A // 2).A.nsmallest(2))
# returns results out of order
print(df.groupby(df.A // 2).A.nlargest(2))
0 0
1 1
2 2
3 3
Name: A, dtype: int64
A
0 1 1
0 0
1 3 3
2 2
Name: A, dtype: int64

Yo diría que quieres que estos devuelvan el mismo índice constante.

Esta es la consecuencia más atroz de esto:

# most egregious
# this will be randomly different
print(df.groupby(df.A // 2).A.apply(pd.Series.sample, n=2))

devuelve esto en una ejecución

A
0 1 1
0 0
1 2 2
3 3
Name: A, dtype: int64

Y esto en otro

0 0
1 1
2 2
3 3
Name: A, dtype: int64

Por supuesto, esto nunca tiene un problema porque es imposible devolver los mismos valores que el original

print(df.groupby(df.A // 2).A.apply(pd.Series.sample, n=1))
A
0 0 0
1 2 2
Name: A, dtype: int64

Trabajar alrededor
set_index

cols = [''plant1_type'',''plant2_type'',''city2'']
df.set_index(cols).groupby(level=cols)[''p234_r_c'']./
nlargest(1).reset_index()
plant1_type plant2_type city2 p234_r_c
0 COMBCYCL COAL Toronto 5.0
1 COMBCYCL COAL Detroit 4.0
2 NUKE COMBCYCL St.Louis 2.0
3 COAL COMBCYCL Miami 0.5
4 NUKE COAL Dallas 1.0
5 COMBCYCL NUKE Dallas 4.0
6 COAL NUKE Dallas 3.0