python - las columnas del marco de datos pandas escalan con sklearn

scikit-learn dataframe

Question

Tengo un marco de datos de pandas con columnas de tipo mixto, y me gustaría aplicar min_max_scaler de sklearn a algunas de las columnas. Idealmente, me gustaría hacer estas transformaciones en su lugar, pero aún no he encontrado una manera de hacerlo. He escrito el siguiente código que funciona:

import pandas as pd
import numpy as np
from sklearn import preprocessing

scaler = preprocessing.MinMaxScaler()

dfTest = pd.DataFrame({''A'':[14.00,90.20,90.95,96.27,91.21],''B'':[103.02,107.26,110.35,114.23,114.68], ''C'':[''big'',''small'',''big'',''small'',''small'']})
min_max_scaler = preprocessing.MinMaxScaler()

def scaleColumns(df, cols_to_scale):
    for col in cols_to_scale:
        df[col] = pd.DataFrame(min_max_scaler.fit_transform(pd.DataFrame(dfTest[col])),columns=[col])
    return df

dfTest

    A   B   C
0    14.00   103.02  big
1    90.20   107.26  small
2    90.95   110.35  big
3    96.27   114.23  small
4    91.21   114.68  small

scaled_df = scaleColumns(dfTest,[''A'',''B''])
scaled_df

A   B   C
0    0.000000    0.000000    big
1    0.926219    0.363636    small
2    0.935335    0.628645    big
3    1.000000    0.961407    small
4    0.938495    1.000000    small

Tengo curiosidad si esta es la forma preferida / más eficiente de hacer esta transformación. ¿Hay alguna manera de que pueda usar df.apply que sería mejor?

También me sorprende que no pueda hacer funcionar el siguiente código:

bad_output = min_max_scaler.fit_transform(dfTest[''A''])

Si paso una dataframe completa al escalador, funciona:

dfTest2 = dfTest.drop(''C'', axis = 1) good_output = min_max_scaler.fit_transform(dfTest2) good_output

Estoy confundido por qué se pasa una serie al escalador falla. En mi código de trabajo completo anterior esperaba haber pasado una serie al escalador y luego establecer la columna de marco de datos = a la serie escalada. He visto esta pregunta en algunos otros lugares, pero no he encontrado una buena respuesta. Cualquier ayuda para entender lo que está pasando aquí sería muy apreciada.

Answer 1

¿Me gusta esto?

dfTest = pd.DataFrame({
           ''A'':[14.00,90.20,90.95,96.27,91.21],
           ''B'':[103.02,107.26,110.35,114.23,114.68], 
           ''C'':[''big'',''small'',''big'',''small'',''small'']
         })
dfTest[[''A'',''B'']] = dfTest[[''A'',''B'']].apply(
                           lambda x: MinMaxScaler().fit_transform(x))
dfTest

    A           B           C
0   0.000000    0.000000    big
1   0.926219    0.363636    small
2   0.935335    0.628645    big
3   1.000000    0.961407    small
4   0.938495    1.000000    small

Answer 2

Como se menciona en el comentario de pir, el .apply(lambda el: scale.fit_transform(el)) producirá la siguiente advertencia:

Advertencia de depreciación: Pasar matrices de 1d como datos desaprobados en 0.17 y aumentará ValueError en 0.19. Reforme sus datos usando X.reshape (-1, 1) si sus datos tienen una sola característica o X.reshape (1, -1) si contiene una sola muestra.

La conversión de sus columnas a matrices numpy debería hacer el trabajo (prefiero StandardScaler):

from sklearn.preprocessing import StandardScaler
scale = StandardScaler()

dfTest[[''A'',''B'',''C'']] = scale.fit_transform(dfTest[[''A'',''B'',''C'']].as_matrix())

Answer 3

No estoy seguro si las versiones anteriores de los pandas impidieron esto, pero ahora el siguiente fragmento me funciona perfectamente y produce exactamente lo que desea sin tener que usar apply

>>> import pandas as pd
>>> from sklearn.preprocessing import MinMaxScaler


>>> scaler = MinMaxScaler()

>>> dfTest = pd.DataFrame({''A'':[14.00,90.20,90.95,96.27,91.21],
                           ''B'':[103.02,107.26,110.35,114.23,114.68],
                           ''C'':[''big'',''small'',''big'',''small'',''small'']})

>>> dfTest[[''A'', ''B'']] = scaler.fit_transform(dfTest[[''A'', ''B'']])

>>> dfTest
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small

Answer 4

Puedes hacerlo solo con pandas :

In [235]:
dfTest = pd.DataFrame({''A'':[14.00,90.20,90.95,96.27,91.21],''B'':[103.02,107.26,110.35,114.23,114.68], ''C'':[''big'',''small'',''big'',''small'',''small'']})
df = dfTest[[''A'', ''B'']]
df_norm = (df - df.min()) / (df.max() - df.min())
print df_norm
print pd.concat((df_norm, dfTest.C),1)

          A         B
0  0.000000  0.000000
1  0.926219  0.363636
2  0.935335  0.628645
3  1.000000  0.961407
4  0.938495  1.000000
          A         B      C
0  0.000000  0.000000    big
1  0.926219  0.363636  small
2  0.935335  0.628645    big
3  1.000000  0.961407  small
4  0.938495  1.000000  small