python - with - seleccionar columnas de un dataframe pandas

Python Pandas ¿Cómo seleccionar filas con uno o más valores nulos de un DataFrame sin listar columnas explícitamente?

Question

Tengo un marco de datos con ~ 300K filas y ~ 40 columnas. Quiero averiguar si alguna de las filas contiene valores nulos, y poner estas filas ''nulas'' en un marco de datos separado para que pueda explorarlas fácilmente.

Puedo crear una máscara explícitamente:

mask=False
for col in df.columns: mask = mask | df[col].isnull()
dfnulls = df[mask]

O puedo hacer algo como:

df.ix[df.index[(df.T == np.nan).sum() > 1]]

¿Hay una manera más elegante de hacerlo (ubicar filas con nulos en ellas)?

Answer 1

[Actualizado para adaptarse a los pandas modernos, que tiene isnull como método de DataFrame s ..]

Puede usar isnull y any para construir una serie booleana y usarla para indexar en su marco:

>>> df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
>>> df.isnull()
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
>>> df.isnull().any(axis=1)
0 False
1 True
2 True
3 False
4 False
dtype: bool
>>> df[df.isnull().any(axis=1)]
0 1 2
1 0 NaN 0
2 0 0 NaN

[Para pandas mayores:]

Puede usar la función isnull lugar del método:

In [56]: df = pd.DataFrame([range(3), [0, np.NaN, 0], [0, 0, np.NaN], range(3), range(3)])
In [57]: df
Out[57]:
0 1 2
0 0 1 2
1 0 NaN 0
2 0 0 NaN
3 0 1 2
4 0 1 2
In [58]: pd.isnull(df)
Out[58]:
0 1 2
0 False False False
1 False True False
2 False False True
3 False False False
4 False False False
In [59]: pd.isnull(df).any(axis=1)
Out[59]:
0 False
1 True
2 True
3 False
4 False

llevando a lo bastante compacto:

In [60]: df[pd.isnull(df).any(axis=1)]
Out[60]:
0 1 2
1 0 NaN 0
2 0 0 NaN

Answer 2

nans = lambda df: df[df.isnull().any(axis=1)]

luego, cuando lo necesite, puede escribir:

nans(your_dataframe)