parse - python pandas cast column to int

pandas: to_numeric para columnas múltiples

Question

Estoy trabajando con el siguiente df :

c.sort_values(''2005'', ascending=False).head(3)
    GeoName     ComponentName   IndustryId  IndustryClassification  Description     2004    2005    2006    2007    2008    2009    2010    2011    2012    2013    2014
37926   Alabama     Real GDP by state   9   213     Support activities for mining   99  98  117     117     115     87  96  95  103     102     (NA)
37951   Alabama     Real GDP by state   34  42  Wholesale trade     9898    10613   10952   11034   11075   9722    9765    9703    9600    9884    10199
37932   Alabama     Real GDP by state   15  327     Nonmetallic mineral products manufacturing  980     968     940     1084    861     724     714     701     589     641     (NA)

Quiero forzar numérico en todos los años:

c[''2014''] = pd.to_numeric(c[''2014''], errors=''coerce'')

¿hay una manera fácil de hacer esto o tengo que escribirlas todas?

Answer 1

Otra forma es usar apply , un forro:

cols = [''col1'', ''col2'', ''col3'']
data[cols] = data[cols].apply(pd.to_numeric, errors=''coerce'', axis=1)

Answer 2

Puedes usar:

print df.columns[5:]
Index([u''2004'', u''2005'', u''2006'', u''2007'', u''2008'', u''2009'', u''2010'', u''2011'',
       u''2012'', u''2013'', u''2014''],
      dtype=''object'')

for col in  df.columns[5:]:
    df[col] = pd.to_numeric(df[col], errors=''coerce'')

print df
       GeoName      ComponentName  IndustryId  IndustryClassification  /
37926  Alabama  Real GDP by state           9                     213   
37951  Alabama  Real GDP by state          34                      42   
37932  Alabama  Real GDP by state          15                     327   

                                      Description  2004   2005   2006   2007  /
37926               Support activities for mining    99     98    117    117   
37951                            Wholesale  trade  9898  10613  10952  11034   
37932  Nonmetallic mineral products manufacturing   980    968    940   1084   

        2008  2009  2010  2011  2012  2013     2014  
37926    115    87    96    95   103   102      NaN  
37951  11075  9722  9765  9703  9600  9884  10199.0  
37932    861   724   714   701   589   641      NaN  

Otra solución con filter :

print df.filter(like=''20'')
       2004   2005   2006   2007   2008  2009  2010  2011  2012  2013   2014
37926    99     98    117    117    115    87    96    95   103   102   (NA)
37951  9898  10613  10952  11034  11075  9722  9765  9703  9600  9884  10199
37932   980    968    940   1084    861   724   714   701   589   641   (NA)

for col in  df.filter(like=''20'').columns:
    df[col] = pd.to_numeric(df[col], errors=''coerce'')
print df
       GeoName      ComponentName  IndustryId  IndustryClassification  /
37926  Alabama  Real GDP by state           9                     213   
37951  Alabama  Real GDP by state          34                      42   
37932  Alabama  Real GDP by state          15                     327   

                                      Description  2004   2005   2006   2007  /
37926               Support activities for mining    99     98    117    117   
37951                            Wholesale  trade  9898  10613  10952  11034   
37932  Nonmetallic mineral products manufacturing   980    968    940   1084   

        2008  2009  2010  2011  2012  2013     2014  
37926    115    87    96    95   103   102      NaN  
37951  11075  9722  9765  9703  9600  9884  10199.0  
37932    861   724   714   701   589   641      NaN  

Answer 3

Si está buscando un rango de columnas, puede intentar esto:

df.iloc[7:] = df.iloc[7:].astype(float)

Los ejemplos anteriores convertirán el tipo a flotante, ya que todas las columnas comienzan desde la 7 hasta el final. Usted, por supuesto, puede utilizar diferentes tipos o diferentes rangos.

Creo que esto es útil cuando tienes un gran rango de columnas para convertir y muchas filas. No te hace pasar cada fila por tu cuenta, creo que lo haré más eficientemente.

Esto es útil solo si sabe que todas las columnas requeridas solo contienen números; no cambiará los "valores incorrectos" (como la cadena) para que sea NaN para usted.

Answer 4

ACTUALIZACIÓN: no necesita convertir sus valores después, puede hacerlo sobre la marcha al leer su CSV:

In [165]: df=pd.read_csv(url, index_col=0, na_values=[''(NA)'']).fillna(0)

In [166]: df.dtypes
Out[166]:
GeoName                    object
ComponentName              object
IndustryId                  int64
IndustryClassification     object
Description                object
2004                        int64
2005                        int64
2006                        int64
2007                        int64
2008                        int64
2009                        int64
2010                        int64
2011                        int64
2012                        int64
2013                        int64
2014                      float64
dtype: object

Si necesita convertir varias columnas a tipos de datos numéricos, use la siguiente técnica:

Fuente de muestra DF:

In [271]: df
Out[271]:
     id    a  b  c  d  e    f
0  id_3  AAA  6  3  5  8    1
1  id_9    3  7  5  7  3  BBB
2  id_7    4  2  3  5  4    2
3  id_0    7  3  5  7  9    4
4  id_0    2  4  6  4  0    2

In [272]: df.dtypes
Out[272]:
id    object
a     object
b      int64
c      int64
d      int64
e      int64
f     object
dtype: object

Convertir columnas seleccionadas a tipos numéricos:

In [273]: cols = df.columns.drop(''id'')

In [274]: df[cols] = df[cols].apply(pd.to_numeric, errors=''coerce'')

In [275]: df
Out[275]:
     id    a  b  c  d  e    f
0  id_3  NaN  6  3  5  8  1.0
1  id_9  3.0  7  5  7  3  NaN
2  id_7  4.0  2  3  5  4  2.0
3  id_0  7.0  3  5  7  9  4.0
4  id_0  2.0  4  6  4  0  2.0

In [276]: df.dtypes
Out[276]:
id     object
a     float64
b       int64
c       int64
d       int64
e       int64
f     float64
dtype: object

PD: si desea seleccionar todas string columnas de string ( object ) use el siguiente truco simple:

cols = df.columns[df.dtypes.eq(''object'')]