python - Búsqueda vectorizada en un marco de datos de pandas

dataframe vectorization

Question

Tengo dos marcos de datos. . .

df1 es una tabla en la que necesito extraer valores del índice, pares de columnas recuperados de varias columnas en df2.

Veo que hay una función get_value que funciona perfectamente cuando se le da un índice y un valor de columna, pero cuando intento vectorizar esta función para crear una nueva columna, estoy fallando ...

df1 = pd.DataFrame(np.arange(20).reshape((4, 5)))
df1.columns = list(''abcde'')
df1.index = [''cat'', ''dog'', ''fish'', ''bird'']
a b c d e
cat 0 1 2 3 4
dog 5 6 7 8 9
fish 10 11 12 13 14
bird 15 16 17 18 19
df1.get_value(''bird, ''c'')
17

Ahora lo que tengo que hacer es crear una columna completamente nueva en df2 : cuando indexe df1 función del índice, pares de columnas del animal , las columnas de letter especificadas en df2 vectorizan efectivamente la función pd.get_value anterior.

df2 = pd.DataFrame(np.arange(20).reshape((4, 5)))
df2[''animal''] = [''cat'', ''dog'', ''fish'', ''bird'']
df2[''letter''] = list(''abcd'')
0 1 2 3 4 animal letter
0 0 1 2 3 4 cat a
1 5 6 7 8 9 dog b
2 10 11 12 13 14 fish c
3 15 16 17 18 19 bird d

Resultando en . . .

 0 1 2 3 4 animal letter looked_up
0 0 1 2 3 4 cat a 0
1 5 6 7 8 9 dog b 6
2 10 11 12 13 14 fish c 12
3 15 16 17 18 19 bird d 18

Answer 1

Hay una función llamada lookup que hace exactamente esto.

df2[''looked_up''] = df1.lookup(df2.animal, df2.letter)
df2
0 1 2 3 4 animal letter looked_up
0 0 1 2 3 4 cat a 0
1 5 6 7 8 9 dog b 6
2 10 11 12 13 14 fish c 12
3 15 16 17 18 19 bird d 18

Answer 2

Si busca un enfoque un poco más rápido, zip lo ayudará en el caso de un marco de datos pequeño, es decir

k = list(zip(df2[''animal''].values,df2[''letter''].values))
df2[''looked_up''] = [df1.get_value(*i) for i in k]

Salida:

0 1 2 3 4 animal letter looked_up 0 0 1 2 3 4 cat a 0 1 5 6 7 8 9 dog b 6 2 10 11 12 13 14 fish c 12 3 15 16 17 18 19 bird d 18

Como John sugirió, puede simplificar el código, que será mucho más rápido.

 df2[''looked_up''] = [df1.get_value(r, c) for r, c in zip(df2.animal, df2.letter)]

En caso de que falten datos, use si más

df2[''looked_up''] = [df1.get_value(r, c) if not pd.isnull(c) | pd.isnull(r) else pd.np.nan for r, c in zip(df2.animal, df2.letter) ]

Para pequeños marcos de datos

%%timeit
df2[''looked_up''] = df1.lookup(df2.animal, df2.letter)
1000 loops, best of 3: 801 µs per loop
k = list(zip(df2[''animal''].values,df2[''letter''].values))
df2[''looked_up''] = [df1.get_value(*i) for i in k]
1000 loops, best of 3: 399 µs per loop
[df1.get_value(r, c) for r, c in zip(df2.animal, df2.letter)]
10000 loops, best of 3: 87.5 µs per loop

Para grandes marcos de datos

df3 = pd.concat([df2]*10000)
%%timeit
k = list(zip(df3[''animal''].values,df3[''letter''].values))
df2[''looked_up''] = [df1.get_value(*i) for i in k]
1 loop, best of 3: 185 ms per loop
df2[''looked_up''] = [df1.get_value(r, c) for r, c in zip(df3.animal, df3.letter)]
1 loop, best of 3: 165 ms per loop
df2[''looked_up''] = df1.lookup(df3.animal, df3.letter)
100 loops, best of 3: 8.82 ms per loop

Answer 3

lookup y get_value son excelentes respuestas si sus valores existen en el marco de datos de búsqueda.

Sin embargo, si los pares (fila, columna) no están presentes en el marco de datos de búsqueda y desea que el valor de búsqueda sea NaN , la merge y el stack es una forma de hacerlo

In [206]: df2.merge(df1.stack().reset_index().rename(columns={0: ''looked_up''}),
left_on=[''animal'', ''letter''], right_on=[''level_0'', ''level_1''],
how=''left'').drop([''level_0'', ''level_1''], 1)
Out[206]:
0 1 2 3 4 animal letter looked_up
0 0 1 2 3 4 cat a 0
1 5 6 7 8 9 dog b 6
2 10 11 12 13 14 fish c 12
3 15 16 17 18 19 bird d 18

Prueba con la adición de un par no existente (animal, letra)

In [207]: df22
Out[207]:
0 1 2 3 4 animal letter
0 0.0 1.0 2.0 3.0 4.0 cat a
1 5.0 6.0 7.0 8.0 9.0 dog b
2 10.0 11.0 12.0 13.0 14.0 fish c
3 15.0 16.0 17.0 18.0 19.0 bird d
4 NaN NaN NaN NaN NaN dummy NaN
In [208]: df22.merge(df1.stack().reset_index().rename(columns={0: ''looked_up''}),
left_on=[''animal'', ''letter''], right_on=[''level_0'', ''level_1''],
how=''left'').drop([''level_0'', ''level_1''], 1)
Out[208]:
0 1 2 3 4 animal letter looked_up
0 0.0 1.0 2.0 3.0 4.0 cat a 0.0
1 5.0 6.0 7.0 8.0 9.0 dog b 6.0
2 10.0 11.0 12.0 13.0 14.0 fish c 12.0
3 15.0 16.0 17.0 18.0 19.0 bird d 18.0
4 NaN NaN NaN NaN NaN dummy NaN NaN