python - una - pandas DataFrame: reemplace los valores de nan con el promedio de columnas

seleccionar columnas pandas python

Question

Tengo un DataFrame de pandas llenado principalmente con números reales, pero también hay algunos valores nan .

¿Cómo puedo reemplazar las nan con los promedios de las columnas donde están?

Esta pregunta es muy similar a esta: matriz numpy: reemplace los valores de nan con el promedio de las columnas , pero desafortunadamente, la solución dada allí no funciona para un DataFrame de pandas.

Answer 1

Otra opción además de las anteriores es:

df = df.groupby(df.columns, axis = 1).transform(lambda x: x.fillna(x.mean()))

Es menos elegante que las respuestas anteriores para la media, pero podría ser más corto si desea reemplazar valores nulos por alguna otra función de columna.

Answer 2

Si desea imputar valores perdidos con la media y desea ir columna por columna, esto solo imputará con la media de esa columna. Esto podría ser un poco más legible.

sub2[''income''] = sub2[''income''].fillna((sub2[''income''].mean()))

Answer 3

Simplemente puede usar DataFrame.fillna para llenar el nan ''s directamente:

In [27]: df
Out[27]:
A B C
0 -0.166919 0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3 NaN -2.027325 1.533582
4 NaN NaN 0.461821
5 -0.788073 NaN NaN
6 -0.916080 -0.612343 NaN
7 -0.887858 1.033826 NaN
8 1.948430 1.025011 -2.982224
9 0.019698 -0.795876 -0.046431
In [28]: df.mean()
Out[28]:
A -0.151121
B -0.231291
C -0.530307
dtype: float64
In [29]: df.fillna(df.mean())
Out[29]:
A B C
0 -0.166919 0.979728 -0.632955
1 -0.297953 -0.912674 -1.365463
2 -0.120211 -0.540679 -0.680481
3 -0.151121 -2.027325 1.533582
4 -0.151121 -0.231291 0.461821
5 -0.788073 -0.231291 -0.530307
6 -0.916080 -0.612343 -0.530307
7 -0.887858 1.033826 -0.530307
8 1.948430 1.025011 -2.982224
9 0.019698 -0.795876 -0.046431

El docstring de fillna dice que el value debe ser un escalar o un dict, sin embargo, parece funcionar también con una Series . Si quiere pasar un dict, puede usar df.mean().to_dict() .

Answer 4

Tratar:

sub2[''income''].fillna((sub2[''income''].mean()), inplace=True)

Answer 5

Utilice directamente df.fillna(df.mean()) para llenar todo el valor nulo con la media

Si desea completar el valor nulo con la media de esa columna, puede usar esto

supongamos que x=df[''Item_Weight''] aquí Item_Weight es el nombre de la columna

aquí estamos asignando (llene los valores nulos de x con la media de x en x)

df[''Item_Weight''] = df[''Item_Weight''].fillna((df[''Item_Weight''].mean()))

Si desea completar el valor nulo con alguna cadena, utilice

aquí Outlet_size es el nombre de la columna

df.Outlet_Size = df.Outlet_Size.fillna(''Missing'')

Answer 6

# To read data from csv file
Dataset = pd.read_csv(''Data.csv'')
# To divide input in X and y axis
X = Dataset.iloc[:, :-1].values
Y = Dataset.iloc[:, 3].values
# To calculate mean use imputer class
from sklearn.preprocessing import Imputer
imputer = Imputer(missing_values=''NaN'', strategy=''mean'', axis=0)
imputer = imputer.fit(X[:, 1:3])
X[:, 1:3] = imputer.transform(X[:, 1:3])

Answer 7

In [16]: df = DataFrame(np.random.randn(10,3))
In [17]: df.iloc[3:5,0] = np.nan
In [18]: df.iloc[4:6,1] = np.nan
In [19]: df.iloc[5:8,2] = np.nan
In [20]: df
Out[20]:
0 1 2
0 1.148272 0.227366 -2.368136
1 -0.820823 1.071471 -0.784713
2 0.157913 0.602857 0.665034
3 NaN -0.985188 -0.324136
4 NaN NaN 0.238512
5 0.769657 NaN NaN
6 0.141951 0.326064 NaN
7 -1.694475 -0.523440 NaN
8 0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794
In [22]: df.mean()
Out[22]:
0 -0.251534
1 -0.040622
2 -0.841219
dtype: float64

Aplicar por columna la media de esas columnas y llenar

In [23]: df.apply(lambda x: x.fillna(x.mean()),axis=0)
Out[23]:
0 1 2
0 1.148272 0.227366 -2.368136
1 -0.820823 1.071471 -0.784713
2 0.157913 0.602857 0.665034
3 -0.251534 -0.985188 -0.324136
4 -0.251534 -0.040622 0.238512
5 0.769657 -0.040622 -0.841219
6 0.141951 0.326064 -0.841219
7 -1.694475 -0.523440 -0.841219
8 0.352556 -0.551487 -1.639298
9 -2.067324 -0.492617 -1.675794