python - number - replace nan for 0 pandas

convertir valor nan a cero

Question

Tengo una matriz numpy 2D. Algunos de los valores en esta matriz son NaN . Quiero realizar ciertas operaciones usando esta matriz. Por ejemplo, considere la matriz:

[[   0.   43.   67.    0.   38.]
 [ 100.   86.   96.  100.   94.]
 [  76.   79.   83.   89.   56.]
 [  88.   NaN   67.   89.   81.]
 [  94.   79.   67.   89.   69.]
 [  88.   79.   58.   72.   63.]
 [  76.   79.   71.   67.   56.]
 [  71.   71.   NaN   56.  100.]]

Intento tomar cada fila, una a la vez, ordenarla en orden inverso para obtener un máximo de 3 valores de la fila y tomar su promedio. El código que probé es:

# nparr is a 2D numpy array
for entry in nparr:
    sortedentry = sorted(entry, reverse=True)
    highest_3_values = sortedentry[:3]
    avg_highest_3 = float(sum(highest_3_values)) / 3

Esto no funciona para las filas que contienen NaN . Mi pregunta es, ¿hay una manera rápida de convertir todos los valores NaN a cero en la matriz numpy 2D para que no tenga problemas con la clasificación y otras cosas que estoy tratando de hacer.

Answer 1

¿Qué hay de nan_to_num() ?

Answer 2

Donde A es su matriz 2D:

import numpy as np
A[np.isnan(A)] = 0

La función isnan produce una matriz bool que indica dónde están los valores NaN . Una matriz booleana puede usarse para indexar una matriz de la misma forma. Piénsalo como una máscara.

Answer 3

Esto debería funcionar:

from numpy import *

a = array([[1, 2, 3], [0, 3, NaN]])
where_are_NaNs = isnan(a)
a[where_are_NaNs] = 0

En el caso anterior where_are_NaNs es:

In [12]: where_are_NaNs
Out[12]: 
array([[False, False, False],
       [False, False,  True]], dtype=bool)

Answer 4

Nan nunca es igual a Nan

if z!=z:z=0

entonces para una matriz 2D

for entry in nparr:
    if entry!=entry:entry=0

Answer 5

Para sus propósitos, si todos los elementos se almacenan como str y usted solo usa ordenado mientras está usando y luego verifica el primer elemento y lo reemplaza con ''0''

>>> l1 = [''88'',''NaN'',''67'',''89'',''81'']
>>> n = sorted(l1,reverse=True)
[''NaN'', ''89'', ''88'', ''81'', ''67'']
>>> import math
>>> if math.isnan(float(n[0])):
...     n[0] = ''0''
... 
>>> n
[''0'', ''89'', ''88'', ''81'', ''67'']

Answer 6

Puede usar la función lambda, un ejemplo para la matriz 1D:

import numpy as np
a = [np.nan, 2, 3]
map(lambda v:0 if np.isnan(v) == True else v, a)

Esto te dará el resultado:

[0, 2, 3]

Answer 7

Puedes usar numpy.nan_to_num :

numpy.nan_to_num (x): Reemplace nan con cero e inf con números finitos .

Ejemplo (ver doc):

>>> np.set_printoptions(precision=8)
>>> x = np.array([np.inf, -np.inf, np.nan, -128, 128])
>>> np.nan_to_num(x)
array([  1.79769313e+308,  -1.79769313e+308,   0.00000000e+000,
        -1.28000000e+002,   1.28000000e+002])

Answer 8

Puedes usar np.where para encontrar dónde tienes NaN :

import numpy as np

a = np.array([[   0,   43,   67,    0,   38],
              [ 100,   86,   96,  100,   94],
              [  76,   79,   83,   89,   56],
              [  88,   np.nan,   67,   89,   81],
              [  94,   79,   67,   89,   69],
              [  88,   79,   58,   72,   63],
              [  76,   79,   71,   67,   56],
              [  71,   71,   np.nan,   56,  100]])

b = np.where(np.isnan(a), 0, a)

In [20]: b
Out[20]: 
array([[   0.,   43.,   67.,    0.,   38.],
       [ 100.,   86.,   96.,  100.,   94.],
       [  76.,   79.,   83.,   89.,   56.],
       [  88.,    0.,   67.,   89.,   81.],
       [  94.,   79.,   67.,   89.,   69.],
       [  88.,   79.,   58.,   72.,   63.],
       [  76.,   79.,   71.,   67.,   56.],
       [  71.,   71.,    0.,   56.,  100.]])

Answer 9

Un ejemplo de código para la respuesta de Drake para usar nan_to_num() :

>>> import numpy as np
>>> A = np.array([[1, 2, 3], [0, 3, np.NaN]])
>>> A = np.nan_to_num(A)
>>> A
array([[ 1.,  2.,  3.],
       [ 0.,  3.,  0.]])