python - tablas - obtener el primer y último valor en un grupo por

recorrer data frame pandas

Question

Tengo un dataframe df

df = pd.DataFrame(np.arange(20).reshape(10, -1),
[[''a'', ''a'', ''a'', ''a'', ''b'', ''b'', ''b'', ''c'', ''c'', ''d''],
[''a'', ''b'', ''c'', ''d'', ''e'', ''f'', ''g'', ''h'', ''i'', ''j'']],
[''X'', ''Y''])

¿Cómo obtengo la primera y la última fila, agrupadas por el primer nivel del índice?

Lo intenté

df.groupby(level=0).agg([''first'', ''last'']).stack()

y consiguió

 X Y
a first 0 1
last 6 7
b first 8 9
last 12 13
c first 14 15
last 16 17
d first 18 19
last 18 19

Esto está muy cerca de lo que quiero. ¿Cómo puedo conservar el índice de nivel 1 y obtener esto en su lugar?

 X Y
a a 0 1
d 6 7
b e 8 9
g 12 13
c h 14 15
i 16 17
d j 18 19
j 18 19

Answer 1

Opción 1

def first_last(df):
return df.ix[[0, -1]]
df.groupby(level=0, group_keys=False).apply(first_last)

Opción 2: solo funciona si el índice es único

idx = df.index.to_series().groupby(level=0).agg([''first'', ''last'']).stack()
df.loc[idx]

Opción 3: según las notas a continuación, esto solo tiene sentido cuando no hay NA

También abusé de la función agg . El siguiente código funciona, pero es mucho más feo.

df.reset_index(1).groupby(level=0).agg([''first'', ''last'']).stack() /
.set_index(''level_1'', append=True).reset_index(1, drop=True) /
.rename_axis([None, None])

Nota

per @unutbu: agg([''first'', ''last'']) toma los primeros valores no nacionales.

Interpreté esto como, entonces debe ser necesario ejecutar esta columna por columna. Además, forzar el nivel de índice = 1 para alinear puede que ni siquiera tenga sentido.

Vamos a incluir otra prueba

df = pd.DataFrame(np.arange(20).reshape(10, -1),
[list(''aaaabbbccd''),
list(''abcdefghij'')],
list(''XY''))
df.loc[tuple(''aa''), ''X''] = np.nan

def first_last(df):
return df.ix[[0, -1]]
df.groupby(level=0, group_keys=False).apply(first_last)

df.reset_index(1).groupby(level=0).agg([''first'', ''last'']).stack() /
.set_index(''level_1'', append=True).reset_index(1, drop=True) /
.rename_axis([None, None])

¡Bastante seguro! Esta segunda solución está tomando el primer valor válido en la columna X. Ahora no tiene sentido obligar a ese valor a alinearse con el índice a.