python - functions - pandas de pitón eliminan columnas duplicadas

python pandas download windows

Question

¿Cuál es la forma más fácil de eliminar columnas duplicadas de un marco de datos?

Estoy leyendo un archivo de texto que tiene columnas duplicadas a través de:

import pandas as pd
df=pd.read_table(fname)

Los nombres de las columnas son:

Time, Time Relative, N2, Time, Time Relative, H2, etc...

Todas las columnas relativas de tiempo y tiempo contienen los mismos datos. Yo quiero:

Time, Time Relative, N2, H2

Todos mis intentos de eliminar, eliminar, etc., como:

df=df.T.drop_duplicates().T

Resultado en errores de índice con valores únicos:

Reindexing only valid with uniquely valued index objects

Perdón por ser un novato de Pandas. Cualquier sugerencia sera apreciada.

Detalles adicionales

Versión de Pandas: 0.9.0
Versión de Python: 2.7.3
Windows 7
(instalado a través de Pythonxy 2.7.3.0)

archivo de datos (nota: en el archivo real, las columnas están separadas por pestañas, aquí están separadas por 4 espacios):

Time Time Relative [s] N2[%] Time Time Relative [s] H2[ppm]
2/12/2013 9:20:55 AM 6.177 9.99268e+001 2/12/2013 9:20:55 AM 6.177 3.216293e-005
2/12/2013 9:21:06 AM 17.689 9.99296e+001 2/12/2013 9:21:06 AM 17.689 3.841667e-005
2/12/2013 9:21:18 AM 29.186 9.992954e+001 2/12/2013 9:21:18 AM 29.186 3.880365e-005
... etc ...
2/12/2013 2:12:44 PM 17515.269 9.991756+001 2/12/2013 2:12:44 PM 17515.269 2.800279e-005
2/12/2013 2:12:55 PM 17526.769 9.991754e+001 2/12/2013 2:12:55 PM 17526.769 2.880386e-005
2/12/2013 2:13:07 PM 17538.273 9.991797e+001 2/12/2013 2:13:07 PM 17538.273 3.131447e-005

Answer 1

La transposición es ineficaz para grandes marcos de datos. Aquí hay una alternativa:

def duplicate_columns(frame):
groups = frame.columns.to_series().groupby(frame.dtypes).groups
dups = []
for t, v in groups.items():
dcols = frame[v].to_dict(orient="list")
vs = dcols.values()
ks = dcols.keys()
lvs = len(vs)
for i in range(lvs):
for j in range(i+1,lvs):
if vs[i] == vs[j]:
dups.append(ks[i])
break
return dups

Úselo así:

dups = duplicate_columns(frame)
frame = frame.drop(dups, axis=1)

Editar

Una versión de memoria eficiente que trata a nans como cualquier otro valor:

from pandas.core.common import array_equivalent
def duplicate_columns(frame):
groups = frame.columns.to_series().groupby(frame.dtypes).groups
dups = []
for t, v in groups.items():
cs = frame[v].columns
vs = frame[v]
lcs = len(cs)
for i in range(lcs):
ia = vs.iloc[:,i].values
for j in range(i+1, lcs):
ja = vs.iloc[:,j].values
if array_equivalent(ia, ja):
dups.append(cs[i])
break
return dups

Answer 2

Parece que ya conoce los nombres únicos de las columnas. Si ese es el caso, entonces df = df[''Time'', ''Time Relative'', ''N2''] funcionaría.

Si no, tu solución debería funcionar:

In [101]: vals = np.random.randint(0,20, (4,3))
vals
Out[101]:
array([[ 3, 13, 0],
[ 1, 15, 14],
[14, 19, 14],
[19, 5, 1]])
In [106]: df = pd.DataFrame(np.hstack([vals, vals]), columns=[''Time'', ''H1'', ''N2'', ''Time Relative'', ''N2'', ''Time''] )
df
Out[106]:
Time H1 N2 Time Relative N2 Time
0 3 13 0 3 13 0
1 1 15 14 1 15 14
2 14 19 14 14 19 14
3 19 5 1 19 5 1
In [107]: df.T.drop_duplicates().T
Out[107]:
Time H1 N2
0 3 13 0
1 1 15 14
2 14 19 14
3 19 5 1

Probablemente tengas algo específico para tus datos que lo estropee. Podríamos brindarle más ayuda si hay más detalles que pueda brindarnos sobre los datos.

Edición: como dijo Andy, el problema probablemente sea con los títulos de columna duplicados.

Para un archivo de tabla de muestra ''dummy.csv'', inventé:

Time H1 N2 Time N2 Time Relative
3 13 13 3 13 0
1 15 15 1 15 14
14 19 19 14 19 14
19 5 5 19 5 1

el uso de read_table da columnas únicas y funciona correctamente:

In [151]: df2 = pd.read_table(''dummy.csv'')
df2
Out[151]:
Time H1 N2 Time.1 N2.1 Time Relative
0 3 13 13 3 13 0
1 1 15 15 1 15 14
2 14 19 19 14 19 14
3 19 5 5 19 5 1
In [152]: df2.T.drop_duplicates().T
Out[152]:
Time H1 Time Relative
0 3 13 0
1 1 15 14
2 14 19 14
3 19 5 1

Si su versión no le permite, puede hackear juntos una solución para que sean únicos:

In [169]: df2 = pd.read_table(''dummy.csv'', header=None)
df2
Out[169]:
0 1 2 3 4 5
0 Time H1 N2 Time N2 Time Relative
1 3 13 13 3 13 0
2 1 15 15 1 15 14
3 14 19 19 14 19 14
4 19 5 5 19 5 1
In [171]: from collections import defaultdict
col_counts = defaultdict(int)
col_ix = df2.first_valid_index()
In [172]: cols = []
for col in df2.ix[col_ix]:
cnt = col_counts[col]
col_counts[col] += 1
suf = ''_'' + str(cnt) if cnt else ''''
cols.append(col + suf)
cols
Out[172]:
[''Time'', ''H1'', ''N2'', ''Time_1'', ''N2_1'', ''Time Relative'']
In [174]: df2.columns = cols
df2 = df2.drop([col_ix])
In [177]: df2
Out[177]:
Time H1 N2 Time_1 N2_1 Time Relative
1 3 13 13 3 13 0
2 1 15 15 1 15 14
3 14 19 19 14 19 14
4 19 5 5 19 5 1
In [178]: df2.T.drop_duplicates().T
Out[178]:
Time H1 Time Relative
1 3 13 0
2 1 15 14
3 14 19 14
4 19 5 1

Answer 3

Si no me equivoco, lo siguiente hace lo que se solicitó sin los problemas de memoria de la solución de transposición y con menos líneas que la función de @kalu, manteniendo la primera de las columnas con el mismo nombre.

Cols = list(df.columns)
for i,item in enumerate(df.columns):
if item in df.columns[:i]: Cols[i] = "toDROP"
df.columns = Cols
df = df.drop("toDROP",1)

Answer 4

Todo lo anterior parece ser un método innecesariamente pesado y tedioso: hay una solución de una sola línea para el problema. Esto se aplica si algunos nombres de columna están duplicados y desea eliminarlos:

df = df.loc[:,~df.columns.duplicated()]

[actualización] Cómo funciona:

Supongamos que las columnas del marco de datos son [''alpha'',''beta'',''alpha'']

df.columns.duplicated() devuelve una matriz booleana: a True o False para cada columna. Si es False , el nombre de la columna es único hasta ese punto; si es True , el nombre de la columna se duplicará antes. Por ejemplo, usando el ejemplo dado, el valor devuelto sería [False,False,True] .

Pandas permite a uno indexar usando valores booleanos por lo que selecciona solo los valores True . Como queremos mantener las columnas no duplicadas, necesitamos que la matriz booleana anterior sea volteada (es decir, [True, True, False] = ~[False,False,True] )

Finalmente, df.loc[:,[True,True,False]] selecciona solo las columnas no duplicadas utilizando la capacidad de indexación mencionada anteriormente.

Nota : lo anterior solo verifica los nombres de las columnas, no los valores de las columnas.