python - functions - Pandas concat: ValueError: la forma de los valores pasados es bla, los índices implican blah2

python pandas download windows

Question

Estoy tratando de fusionar un marco de datos (Pandas 14.1) y una serie. La serie debe formar una nueva columna, con algunos NA (ya que los valores de índice de la serie son un subconjunto de los valores de índice del marco de datos).

Esto funciona para un ejemplo de juguete, pero no con mis datos (se detalla a continuación).

Ejemplo:

import pandas as pd
import numpy as np

df1 = pd.DataFrame(np.random.randn(6, 4), columns=[''A'', ''B'', ''C'', ''D''], index=pd.date_range(''1/1/2011'', periods=6, freq=''D''))
df1

A   B   C   D
2011-01-01  -0.487926   0.439190    0.194810    0.333896
2011-01-02  1.708024    0.237587    -0.958100   1.418285
2011-01-03  -1.228805   1.266068    -1.755050   -1.476395
2011-01-04  -0.554705   1.342504    0.245934    0.955521
2011-01-05  -0.351260   -0.798270   0.820535    -0.597322
2011-01-06  0.132924    0.501027    -1.139487   1.107873

s1 = pd.Series(np.random.randn(3), name=''foo'', index=pd.date_range(''1/1/2011'', periods=3, freq=''2D''))
s1

2011-01-01   -1.660578
2011-01-03   -0.209688
2011-01-05    0.546146
Freq: 2D, Name: foo, dtype: float64

pd.concat([df1, s1],axis=1)

A   B   C   D   foo
2011-01-01  -0.487926   0.439190    0.194810    0.333896    -1.660578
2011-01-02  1.708024    0.237587    -0.958100   1.418285    NaN
2011-01-03  -1.228805   1.266068    -1.755050   -1.476395   -0.209688
2011-01-04  -0.554705   1.342504    0.245934    0.955521    NaN
2011-01-05  -0.351260   -0.798270   0.820535    -0.597322   0.546146
2011-01-06  0.132924    0.501027    -1.139487   1.107873    NaN

La situación con los datos (ver a continuación) parece básicamente idéntica: concatting una serie con un IndiceIndex de tiempo cuyos valores son un subconjunto de los marcos de datos. Pero da el ValueError en el título (blah1 = (5, 286) blah2 = (5, 276)). ¿Por qué no funciona ?:

In[187]: df.head()
Out[188]:
high    low loc_h   loc_l
time                
2014-01-01 17:00:00 1.376235    1.375945    1.376235    1.375945
2014-01-01 17:01:00 1.376005    1.375775    NaN NaN
2014-01-01 17:02:00 1.375795    1.375445    NaN 1.375445
2014-01-01 17:03:00 1.375625    1.375515    NaN NaN
2014-01-01 17:04:00 1.375585    1.375585    NaN NaN
In [186]: df.index
Out[186]:
<class ''pandas.tseries.index.DatetimeIndex''>
[2014-01-01 17:00:00, ..., 2014-01-01 21:30:00]
Length: 271, Freq: None, Timezone: None

In [189]: hl.head()
Out[189]:
2014-01-01 17:00:00    1.376090
2014-01-01 17:02:00    1.375445
2014-01-01 17:05:00    1.376195
2014-01-01 17:10:00    1.375385
2014-01-01 17:12:00    1.376115
dtype: float64

In [187]:hl.index
Out[187]:
<class ''pandas.tseries.index.DatetimeIndex''>
[2014-01-01 17:00:00, ..., 2014-01-01 21:30:00]
Length: 89, Freq: None, Timezone: None

In: pd.concat([df, hl], axis=1)
Out: [stack trace] ValueError: Shape of passed values is (5, 286), indices imply (5, 276)

Answer 1

Intenta clasificar el índice después de concatenarlos

result=pd.concat([df1,df2]).sort_index()

Answer 2

La publicación de Aus_lacy me dio la idea de probar métodos relacionados, de los cuales la unión funciona:

In [196]:

hl.name = ''hl''
Out[196]:
''hl''
In [199]:

df.join(hl).head(4)
Out[199]:
high    low loc_h   loc_l   hl
2014-01-01 17:00:00 1.376235    1.375945    1.376235    1.375945    1.376090
2014-01-01 17:01:00 1.376005    1.375775    NaN NaN NaN
2014-01-01 17:02:00 1.375795    1.375445    NaN 1.375445    1.375445
2014-01-01 17:03:00 1.375625    1.375515    NaN NaN NaN

¡Una idea de por qué Concat funciona en el ejemplo pero no esta información sería agradable!

Answer 3

Mi problema donde diferentes índices, el siguiente código resolvió mi problema.

df1.reset_index(drop=True, inplace=True)
df2.reset_index(drop=True, inplace=True)
df = pd.concat([df1, df2], axis=1)

Answer 4

Sus índices probablemente contienen valores duplicados.

import pandas as pd

T1_INDEX = [
    0,
    1,  # <= !!! if I write e.g.: "0" here then it fails
    0.2,
]
T1_COLUMNS = [
    ''A'', ''B'', ''C'', ''D''
]
T1 = [
    [1.0, 1.1, 1.2, 1.3],
    [2.0, 2.1, 2.2, 2.3],
    [3.0, 3.1, 3.2, 3.3],
]

T2_INDEX = [
    1.2,
    2.11,
]

T2_COLUMNS = [
    ''D'', ''E'', ''F'',
]
T2 = [
    [54.0, 5324.1, 3234.2],
    [55.0, 14.5324, 2324.2],
    # [3.0, 3.1, 3.2],
]
df1 = pd.DataFrame(T1, columns=T1_COLUMNS, index=T1_INDEX)
df2 = pd.DataFrame(T2, columns=T2_COLUMNS, index=T2_INDEX)


print(pd.concat([pd.DataFrame({})] + [df2, df1], axis=1))

Answer 5

Tuve un problema similar (la join funcionó, pero el concat falló).

Compruebe si hay valores de índice duplicados en df1 y s1 , (por ejemplo, df1.index.is_unique)

Eliminar valores de índice duplicados (por ejemplo, df.drop_duplicates(inplace=True) ) o uno de los métodos aquí https://.com/a/34297689/7163376 debería resolverlo.