python - reemplazar - los pandas crean una nueva columna basada en valores de otras columnas/aplican una función de varias columnas, en fila

pandas dataframe eliminar columna

Question

Quiero aplicar mi función personalizada (usa una escalera if-else) a estas seis columnas ( ERI_Hispanic , ERI_AmerInd_AKNatv , ERI_Asian , ERI_Black_Afr.Amer , ERI_HI_PacIsl , ERI_White ) en cada fila de mi marco de datos.

He probado diferentes métodos de otras preguntas, pero parece que todavía no puedo encontrar la respuesta correcta para mi problema. La parte crítica de esto es que si la persona se cuenta como hispana, no se puede contar como otra cosa. Incluso si tienen un "1" en otra columna de etnia, todavía se cuentan como hispanos, no dos o más razas. Del mismo modo, si la suma de todas las columnas ERI es mayor que 1, se cuentan como dos o más razas y no se pueden contar como una etnia única (excepto para los hispanos). Esperemos que esto tenga sentido. Cualquier ayuda será apreciada.

Es casi como hacer un ciclo for a través de cada fila y si cada registro cumple con un criterio, se agregan a una lista y se eliminan del original.

Del siguiente marco de datos necesito calcular una nueva columna basada en la siguiente especificación en SQL:

========================= CRITERIOS ======================== =======

IF [ERI_Hispanic] = 1 THEN RETURN “Hispanic”
ELSE IF SUM([ERI_AmerInd_AKNatv] + [ERI_Asian] + [ERI_Black_Afr.Amer] + [ERI_HI_PacIsl] + [ERI_White]) > 1 THEN RETURN “Two or More”
ELSE IF [ERI_AmerInd_AKNatv] = 1 THEN RETURN “A/I AK Native”
ELSE IF [ERI_Asian] = 1 THEN RETURN “Asian”
ELSE IF [ERI_Black_Afr.Amer] = 1 THEN RETURN “Black/AA”
ELSE IF [ERI_HI_PacIsl] = 1 THEN RETURN “Haw/Pac Isl.”
ELSE IF [ERI_White] = 1 THEN RETURN “White”

Comentario: Si la bandera ERI para hispanos es verdadera (1), el empleado se clasifica como "hispano"

Comentario: si más de 1 bandera ERI no hispana es verdadera, devuelva "Dos o más"

====================== DATAFRAME ===========================

     lname          fname       rno_cd  eri_afr_amer    eri_asian   eri_hawaiian    eri_hispanic    eri_nat_amer    eri_white   rno_defined
0    MOST           JEFF        E       0               0           0               0               0               1           White
1    CRUISE         TOM         E       0               0           0               1               0               0           White
2    DEPP           JOHNNY              0               0           0               0               0               1           Unknown
3    DICAP          LEO                 0               0           0               0               0               1           Unknown
4    BRANDO         MARLON      E       0               0           0               0               0               0           White
5    HANKS          TOM         0                       0           0               0               0               1           Unknown
6    DENIRO         ROBERT      E       0               1           0               0               0               1           White
7    PACINO         AL          E       0               0           0               0               0               1           White
8    WILLIAMS       ROBIN       E       0               0           1               0               0               0           White
9    EASTWOOD       CLINT       E       0               0           0               0               0               1           White

Answer 1

Dado que este es el primer resultado de Google para ''pandas nueva columna de otros'', aquí hay un ejemplo simple:

import pandas as pd

# make a simple dataframe
df = pd.DataFrame({''a'':[1,2], ''b'':[3,4]})
df
#    a  b
# 0  1  3
# 1  2  4

# create an unattached column with an index
df.apply(lambda row: row.a + row.b, axis=1)
# 0    4
# 1    6

# do same but attach it to the dataframe
df[''c''] = df.apply(lambda row: row.a + row.b, axis=1)
df
#    a  b  c
# 0  1  3  4
# 1  2  4  6

Si obtiene SettingWithCopyWarning también puede hacerlo de esta manera:

fn = lambda row: row.a + row.b # define a function for the new column
col = df.apply(fn, axis=1) # get column data with an index
df = df.assign(c=col.values) # assign values to column ''c''

Fuente: https://stackoverflow.com/a/12555510/243392

Y si el nombre de su columna incluye espacios, puede usar una sintaxis como esta:

df = df.assign(**{''some column name'': col.values})

Y aquí está la documentación para apply y assign .

Answer 2

De acuerdo, dos pasos para esto, primero es escribir una función que haga la traducción que desea, he reunido un ejemplo basado en su pseudocódigo:

def label_race (row):
   if row[''eri_hispanic''] == 1 :
      return ''Hispanic''
   if row[''eri_afr_amer''] + row[''eri_asian''] + row[''eri_hawaiian''] + row[''eri_nat_amer''] + row[''eri_white''] > 1 :
      return ''Two Or More''
   if row[''eri_nat_amer''] == 1 :
      return ''A/I AK Native''
   if row[''eri_asian''] == 1:
      return ''Asian''
   if row[''eri_afr_amer'']  == 1:
      return ''Black/AA''
   if row[''eri_hawaiian''] == 1:
      return ''Haw/Pac Isl.''
   if row[''eri_white''] == 1:
      return ''White''
   return ''Other''

Es posible que desee repasar esto, pero parece ser el truco: tenga en cuenta que el parámetro que entra en la función se considera un objeto Serie etiquetado como "fila".

Luego, use la función de aplicar en pandas para aplicar la función, por ejemplo

df.apply (lambda row: label_race(row), axis=1)

Tenga en cuenta el especificador axis = 1, eso significa que la aplicación se realiza en una fila, en lugar de un nivel de columna. Los resultados están aquí:

0           White
1        Hispanic
2           White
3           White
4           Other
5           White
6     Two Or More
7           White
8    Haw/Pac Isl.
9           White

Si está satisfecho con esos resultados, ejecútelos nuevamente, guardando los resultados en una nueva columna en su marco de datos original.

df[''race_label''] = df.apply (lambda row: label_race(row), axis=1)

El marco de datos resultante tiene este aspecto (desplácese hacia la derecha para ver la nueva columna):

      lname   fname rno_cd  eri_afr_amer  eri_asian  eri_hawaiian   eri_hispanic  eri_nat_amer  eri_white rno_defined    race_label
0      MOST    JEFF      E             0          0             0              0             0          1       White         White
1    CRUISE     TOM      E             0          0             0              1             0          0       White      Hispanic
2      DEPP  JOHNNY    NaN             0          0             0              0             0          1     Unknown         White
3     DICAP     LEO    NaN             0          0             0              0             0          1     Unknown         White
4    BRANDO  MARLON      E             0          0             0              0             0          0       White         Other
5     HANKS     TOM    NaN             0          0             0              0             0          1     Unknown         White
6    DENIRO  ROBERT      E             0          1             0              0             0          1       White   Two Or More
7    PACINO      AL      E             0          0             0              0             0          1       White         White
8  WILLIAMS   ROBIN      E             0          0             1              0             0          0       White  Haw/Pac Isl.
9  EASTWOOD   CLINT      E             0          0             0              0             0          1       White         White

Answer 3

Las respuestas anteriores son perfectamente válidas, pero existe una solución vectorizada, en forma de numpy.select . Esto le permite definir condiciones, luego definir salidas para esas condiciones, mucho más eficientemente que usar apply :

Primero, defina las condiciones:

conditions = [
    df[''eri_hispanic''] == 1,
    df[[''eri_afr_amer'', ''eri_asian'', ''eri_hawaiian'', ''eri_nat_amer'', ''eri_white'']].sum(1).gt(1),
    df[''eri_nat_amer''] == 1,
    df[''eri_asian''] == 1,
    df[''eri_afr_amer''] == 1,
    df[''eri_hawaiian''] == 1,
    df[''eri_white''] == 1,
]

Ahora, defina las salidas correspondientes:

outputs = [
    ''Hispanic'', ''Two Or More'', ''A/I AK Native'', ''Asian'', ''Black/AA'', ''Haw/Pac Isl.'', ''White''
]

Finalmente, usando numpy.select :

res = np.select(conditions, outputs, ''Other'')
pd.Series(res)

0           White
1        Hispanic
2           White
3           White
4           Other
5           White
6     Two Or More
7           White
8    Haw/Pac Isl.
9           White
dtype: object

¿Por qué debería numpy.select sobre apply ? Aquí hay algunas comprobaciones de rendimiento:

df = pd.concat([df]*1000)

In [42]: %timeit df.apply(lambda row: label_race(row), axis=1)
1.07 s ± 4.16 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

In [44]: %%timeit
    ...: conditions = [
    ...:     df[''eri_hispanic''] == 1,
    ...:     df[[''eri_afr_amer'', ''eri_asian'', ''eri_hawaiian'', ''eri_nat_amer'', ''eri_white'']].sum(1).gt(1),
    ...:     df[''eri_nat_amer''] == 1,
    ...:     df[''eri_asian''] == 1,
    ...:     df[''eri_afr_amer''] == 1,
    ...:     df[''eri_hawaiian''] == 1,
    ...:     df[''eri_white''] == 1,
    ...: ]
    ...:
    ...: outputs = [
    ...:     ''Hispanic'', ''Two Or More'', ''A/I AK Native'', ''Asian'', ''Black/AA'', ''Haw/Pac Isl.'', ''White''
    ...: ]
    ...:
    ...: np.select(conditions, outputs, ''Other'')
    ...:
    ...:
3.09 ms ± 17 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

El uso de numpy.select nos brinda un rendimiento enormemente mejorado, y la discrepancia solo aumentará a medida que numpy.select los datos.

Answer 4

prueba esto,

df.loc[df[''eri_white'']==1,''race_label''] = ''White''
df.loc[df[''eri_hawaiian'']==1,''race_label''] = ''Haw/Pac Isl.''
df.loc[df[''eri_afr_amer'']==1,''race_label''] = ''Black/AA''
df.loc[df[''eri_asian'']==1,''race_label''] = ''Asian''
df.loc[df[''eri_nat_amer'']==1,''race_label''] = ''A/I AK Native''
df.loc[(df[''eri_afr_amer''] + df[''eri_asian''] + df[''eri_hawaiian''] + df[''eri_nat_amer''] + df[''eri_white'']) > 1,''race_label''] = ''Two Or More''
df.loc[df[''eri_hispanic'']==1,''race_label''] = ''Hispanic''
df[''race_label''].fillna(''Other'', inplace=True)

O / P:

     lname   fname rno_cd  eri_afr_amer  eri_asian  eri_hawaiian  /
0      MOST    JEFF      E             0          0             0   
1    CRUISE     TOM      E             0          0             0   
2      DEPP  JOHNNY    NaN             0          0             0   
3     DICAP     LEO    NaN             0          0             0   
4    BRANDO  MARLON      E             0          0             0   
5     HANKS     TOM    NaN             0          0             0   
6    DENIRO  ROBERT      E             0          1             0   
7    PACINO      AL      E             0          0             0   
8  WILLIAMS   ROBIN      E             0          0             1   
9  EASTWOOD   CLINT      E             0          0             0   

   eri_hispanic  eri_nat_amer  eri_white rno_defined    race_label  
0             0             0          1       White         White  
1             1             0          0       White      Hispanic  
2             0             0          1     Unknown         White  
3             0             0          1     Unknown         White  
4             0             0          0       White         Other  
5             0             0          1     Unknown         White  
6             0             0          1       White   Two Or More  
7             0             0          1       White         White  
8             0             0          0       White  Haw/Pac Isl.  
9             0             0          1       White         White 

use .loc lugar de apply .

Mejora la vectorización.

.loc funciona de manera simple, enmascarar filas según la condición, aplicar valores a las filas congeladas.

para más detalles visite, .loc docs

Métricas de rendimiento:

Respuesta aceptada:

def label_race (row):
   if row[''eri_hispanic''] == 1 :
      return ''Hispanic''
   if row[''eri_afr_amer''] + row[''eri_asian''] + row[''eri_hawaiian''] + row[''eri_nat_amer''] + row[''eri_white''] > 1 :
      return ''Two Or More''
   if row[''eri_nat_amer''] == 1 :
      return ''A/I AK Native''
   if row[''eri_asian''] == 1:
      return ''Asian''
   if row[''eri_afr_amer'']  == 1:
      return ''Black/AA''
   if row[''eri_hawaiian''] == 1:
      return ''Haw/Pac Isl.''
   if row[''eri_white''] == 1:
      return ''White''
   return ''Other''

df=pd.read_csv(''dataser.csv'')
df = pd.concat([df]*1000)

%timeit df.apply(lambda row: label_race(row), axis=1)

1.15 s ± 46.5 ms por ciclo (media ± estándar de desarrollo de 7 carreras, 1 ciclo cada una)

Mi respuesta propuesta:

def label_race(df):
    df.loc[df[''eri_white'']==1,''race_label''] = ''White''
    df.loc[df[''eri_hawaiian'']==1,''race_label''] = ''Haw/Pac Isl.''
    df.loc[df[''eri_afr_amer'']==1,''race_label''] = ''Black/AA''
    df.loc[df[''eri_asian'']==1,''race_label''] = ''Asian''
    df.loc[df[''eri_nat_amer'']==1,''race_label''] = ''A/I AK Native''
    df.loc[(df[''eri_afr_amer''] + df[''eri_asian''] + df[''eri_hawaiian''] + df[''eri_nat_amer''] + df[''eri_white'']) > 1,''race_label''] = ''Two Or More''
    df.loc[df[''eri_hispanic'']==1,''race_label''] = ''Hispanic''
    df[''race_label''].fillna(''Other'', inplace=True)
df=pd.read_csv(''s22.csv'')
df = pd.concat([df]*1000)

%timeit label_race(df)

24,7 ms ± 1,7 ms por bucle (media ± desviación estándar de 7 ejecuciones, 10 bucles cada una)

Answer 5

.apply() toma una función como primer parámetro; Pase la función label_race la label_race manera:

df[''race_label''] = df.apply(label_race, axis=1)

No necesita hacer una función lambda para pasar una función.