python - tutorial - recorrer data frame pandas

Las pandas combinan dos marcos de datos con columnas diferentes

Question

Seguramente me estoy perdiendo algo simple aquí. Intentar combinar dos marcos de datos en pandas que tienen en su mayoría los mismos nombres de columna, pero el marco de datos correcto tiene algunas columnas que la izquierda no tiene, y viceversa

>df_may

  id  quantity  attr_1  attr_2
0  1        20       0       1
1  2        23       1       1
2  3        19       1       1
3  4        19       0       0

>df_jun

  id  quantity  attr_1  attr_3
0  5         8       1       0
1  6        13       0       1
2  7        20       1       1
3  8        25       1       1

He intentado unir con una unión externa:

mayjundf = pd.DataFrame.merge(df_may, df_jun, how="outer")

Pero eso da lugar a:

Left data columns not unique: Index([....

También he especificado una sola columna para unir (on = "id", por ejemplo), pero duplica todas las columnas excepto "id" como attr_1_x, attr_1_y, lo cual no es ideal. También he pasado la lista completa de columnas (hay muchas) a "on":

mayjundf = pd.DataFrame.merge(df_may, df_jun, how="outer", on=list(df_may.columns.values))

Cuyos rendimientos:

ValueError: Buffer has wrong number of dimensions (expected 1, got 2)

¿Qué me estoy perdiendo? Me gustaría obtener un df con todas las filas agregadas, y attr_1, attr_2, attr_3 se rellenen donde sea posible, NaN donde no se muestren. Esto parece un flujo de trabajo bastante típico para el intercambio de datos, pero estoy atascado.

Gracias por adelantado.

Answer 1

Creo que en este caso concat es lo que quieres:

In [12]:

pd.concat([df,df1], axis=0, ignore_index=True)
Out[12]:
   attr_1  attr_2  attr_3  id  quantity
0       0       1     NaN   1        20
1       1       1     NaN   2        23
2       1       1     NaN   3        19
3       0       0     NaN   4        19
4       1     NaN       0   5         8
5       0     NaN       1   6        13
6       1     NaN       1   7        20
7       1     NaN       1   8        25

al pasar axis=0 aquí, usted está apilando los df uno encima del otro, lo que creo que es lo que desea y luego produce un valor NaN donde están ausentes de sus respectivos dfs.

Answer 2

Tuve este problema hoy usando cualquiera de concat, append o merge, y lo resolví agregando una columna auxiliar numerada secuencialmente y luego haciendo una combinación externa

helper=1
for i in df1.index:
    df1.loc[i,''helper'']=helper
    helper=helper+1
for i in df2.index:
    df2.loc[i,''helper'']=helper
    helper=helper+1
df1.merge(df2,on=''helper'',how=''outer'')