python - Añadiendo dos series con NaNs

axis title plotly r

Question

Estoy trabajando en "Python para análisis de datos" y no entiendo una funcionalidad en particular. Agregar dos objetos de la serie pandas alineará automáticamente los datos indexados, pero si un objeto no contiene ese índice, se devuelve como NaN. Por ejemplo del libro:

a = Series([35000,71000,16000,5000],index=[''Ohio'',''Texas'',''Oregon'',''Utah''])
b = Series([NaN,71000,16000,35000],index=[''California'', ''Texas'', ''Oregon'', ''Ohio''])

Resultado:

 In [63]: a
Out[63]: Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
In [64]: b
Out[64]: California NaN
Texas 71000
Oregon 16000
Ohio 35000

Cuando los agrego juntos obtengo esto ...

 In [65]: a+b
Out[65]: California NaN
Ohio 70000
Oregon 32000
Texas 142000
Utah NaN

Entonces, ¿por qué el valor de Utah es NaN y no 500? Parece que 500 + NaN = 500. ¿Lo que da? Me estoy perdiendo algo, por favor explique.

Actualizar:

 In [92]: # fill NaN with zero
b = b.fillna(0)
b
Out[92]: California 0
Texas 71000
Oregon 16000
Ohio 35000
In [93]: a
Out[93]: Ohio 35000
Texas 71000
Oregon 16000
Utah 5000
In [94]: # a is still good
a+b
Out[94]: California NaN
Ohio 70000
Oregon 32000
Texas 142000
Utah NaN

Answer 1

El enfoque predeterminado es asumir que cualquier cálculo que involucre NaN da como resultado NaN. Cualquier cosa más NaN es NaN, cualquier cosa dividida por NaN es NaN, etc. Si desea llenar el NaN con algún valor, debe hacerlo explícitamente (como lo mostró Dan Allan en su respuesta).

Answer 2

Pandas no asume que 500 + NaN = 500, pero es fácil pedirle que haga eso: a.add(b, fill_value=0)

Answer 3

Tiene más sentido usar pd.concat() ya que puede aceptar más columnas.

import pandas as pd
import numpy as np
a = pd.Series([35000,71000,16000,5000],index=[''Ohio'',''Texas'',''Oregon'',''Utah''])
b = pd.Series([np.nan,71000,16000,35000],index=[''California'', ''Texas'', ''Oregon'', ''Ohio''])
pd.concat((a,b), axis=1).sum(1, min_count=1)

Salida:

California NaN
Ohio 70000.0
Oregon 32000.0
Texas 142000.0
Utah 5000.0
dtype: float64

O con 3 series:

import pandas as pd
import numpy as np
a = pd.Series([1, np.NaN, 4, 5])
b = pd.Series([3, np.NaN, 5, np.NaN])
c = pd.Series([np.NaN,np.NaN,np.NaN,np.NaN])
print(pd.concat((a,b,c), axis=1).sum(1, min_count=1))
#0 4.0
#1 NaN
#2 9.0
#3 5.0
#dtype: float64