python - tablas - los pandas convierten algunas columnas en filas

recorrer data frame pandas

Question

Entonces mi conjunto de datos tiene alguna información por ubicación para n fechas. El problema es que cada fecha es en realidad un encabezado de columna diferente. Por ejemplo, el CSV parece

location name Jan-2010 Feb-2010 March-2010
A "test" 12 20 30
B "foo" 18 20 25

Lo que me gustaría es que se vea

location name Date Value
A "test" Jan-2010 12
A "test" Feb-2010 20
A "test" March-2010 30
B "foo" Jan-2010 18
B "foo" Feb-2010 20
B "foo" March-2010 25

El problema es que no sé cuántas fechas hay en la columna (aunque sé que siempre comenzarán después del nombre)

Answer 1

pd.wide_to_long

Puede agregar un prefijo a las columnas de su año y luego alimentar directamente a pd.wide_to_long . No pretendo que esto sea eficiente , pero en ciertas situaciones puede ser más conveniente que pd.melt , por ejemplo, cuando sus columnas ya tienen un prefijo apropiado.

df.columns = np.hstack((df.columns[:2], df.columns[2:].map(lambda x: f''Value{x}'')))
res = pd.wide_to_long(df, stubnames=[''Value''], i=''name'', j=''Date'').reset_index()/
.sort_values([''location'', ''name''])
print(res)
name Date location Value
0 test Jan-2010 A 12
2 test Feb-2010 A 20
4 test March-2010 A 30
1 foo Jan-2010 B 18
3 foo Feb-2010 B 20
5 foo March-2010 B 25

Answer 2

Creo que encontré una solución más simple

temp1[''new_column''] = temp2[''name'']

Concat entero temp1 con el name columna temp2

df1 = (df.set_index(["location", "name"])
.stack()
.reset_index(name=''Value'')
.rename(columns={''level_2'':''Date''}))
print (df1)
location name Date Value
0 A test Jan-2010 12
1 A test Feb-2010 20
2 A test March-2010 30
3 B foo Jan-2010 18
4 B foo Feb-2010 20
5 B foo March-2010 25

Ahora tienes lo que pediste.

Answer 3

Use set_index con stack para MultiIndex Series , luego para DataFrame agregue reset_index con rename :

temp1 = pd.melt(df1, id_vars=["location"], var_name=''Date'', value_name=''Value'')
temp2 = pd.melt(df1, id_vars=["name"], var_name=''Date'', value_name=''Value'')

Answer 4

ACTUALIZAR
Desde v0.20, melt es una función de primer orden, ahora puede usar

df.melt(id_vars=["location", "name"],
var_name="Date",
value_name="Value")
location name Date Value
0 A "test" Jan-2010 12
1 B "foo" Jan-2010 18
2 A "test" Feb-2010 20
3 B "foo" Feb-2010 20
4 A "test" March-2010 30
5 B "foo" March-2010 25

VERSIONES ANTIGUAS (ER): <0.20

Puede usar pd.melt para obtener la mayor parte del camino y luego ordenar:

>>> df
location name Jan-2010 Feb-2010 March-2010
0 A test 12 20 30
1 B foo 18 20 25
>>> df2 = pd.melt(df, id_vars=["location", "name"],
var_name="Date", value_name="Value")
>>> df2
location name Date Value
0 A test Jan-2010 12
1 B foo Jan-2010 18
2 A test Feb-2010 20
3 B foo Feb-2010 20
4 A test March-2010 30
5 B foo March-2010 25
>>> df2 = df2.sort(["location", "name"])
>>> df2
location name Date Value
0 A test Jan-2010 12
2 A test Feb-2010 20
4 A test March-2010 30
1 B foo Jan-2010 18
3 B foo Feb-2010 20
5 B foo March-2010 25

(Es posible que desee .reset_index(drop=True) un .reset_index(drop=True) , solo para mantener la salida limpia).

Nota : pd.DataFrame.sort ha quedado en desuso a favor de pd.DataFrame.sort_values .