python - seleccionar - ¿Cómo convertir un subconjunto de columnas de Data Frame en pandas en una matriz numpy?

recorrer data frame pandas

Question

Me pregunto si existe una manera más sencilla y eficiente de seleccionar un subconjunto de filas y columnas de un DataFrame de pandas.

Por ejemplo, dado este marco de datos:

df = DataFrame(np.random.rand(4,5), columns = list(''abcde'')) print df a b c d e 0 0.945686 0.000710 0.909158 0.892892 0.326670 1 0.919359 0.667057 0.462478 0.008204 0.473096 2 0.976163 0.621712 0.208423 0.980471 0.048334 3 0.459039 0.788318 0.309892 0.100539 0.753992

Solo quiero aquellas filas en las que el valor de la columna ''c'' es mayor que 0.5, pero solo necesito las columnas ''b'' y ''e'' para esas filas.

Este es el método que he ideado, ¿tal vez hay una mejor forma de "pandas"?

locs = [df.columns.get_loc(_) for _ in [''a'', ''d'']] print df[df.c > 0.5][locs] a d 0 0.945686 0.892892

Mi objetivo final es convertir el resultado en una matriz numpy para pasar a un algoritmo de regresión sklearn, así que usaré el código anterior de esta manera:

training_set = array(df[df.c > 0.5][locs])

... y eso me molesta ya que termino con una enorme copia de la matriz en la memoria. Tal vez hay una mejor manera para eso también?

Answer 1

Quizás algo como esto para el primer problema, simplemente puede acceder a las columnas por sus nombres:

>>> df = pd.DataFrame(np.random.rand(4,5), columns = list(''abcde''))
>>> df[df[''c'']>.5][[''b'',''e'']]
b e
1 0.071146 0.132145
2 0.495152 0.420219

Para el segundo problema:

>>> df[df[''c'']>.5][[''b'',''e'']].values
array([[ 0.07114556, 0.13214495],
[ 0.49515157, 0.42021946]])

Answer 2

Use su valor directamente:

In [79]: df[df.c > 0.5][[''b'', ''e'']].values
Out[79]:
array([[ 0.98836259, 0.82403141],
[ 0.337358 , 0.02054435],
[ 0.29271728, 0.37813099],
[ 0.70033513, 0.69919695]])

Answer 3

.loc acepta los selectores de fila y columna simultáneamente (al igual que .ix/.iloc FYI). Esto también se realiza en una sola pasada.

In [1]: df = DataFrame(np.random.rand(4,5), columns = list(''abcde''))
In [2]: df
Out[2]:
a b c d e
0 0.669701 0.780497 0.955690 0.451573 0.232194
1 0.952762 0.585579 0.890801 0.643251 0.556220
2 0.900713 0.790938 0.952628 0.505775 0.582365
3 0.994205 0.330560 0.286694 0.125061 0.575153
In [5]: df.loc[df[''c'']>0.5,[''a'',''d'']]
Out[5]:
a d
0 0.669701 0.451573
1 0.952762 0.643251
2 0.900713 0.505775

Y si quieres los valores (aunque esto debería pasar directamente a sklearn como está); marcos compatibles con la interfaz de matriz

In [6]: df.loc[df[''c'']>0.5,[''a'',''d'']].values
Out[6]:
array([[ 0.66970138, 0.45157274],
[ 0.95276167, 0.64325143],
[ 0.90071271, 0.50577509]])