python - tablas - Aplicar la función a cada fila de marco de datos de pandas para crear dos nuevas columnas

pandas python tutorial español pdf

Question

Tengo un panda DataFrame, st contiene varias columnas:

<class ''pandas.core.frame.DataFrame''>
DatetimeIndex: 53732 entries, 1993-01-07 12:23:58 to 2012-12-02 20:06:23
Data columns:
Date(dd-mm-yy)_Time(hh-mm-ss) 53732 non-null values
Julian_Day 53732 non-null values
AOT_1020 53716 non-null values
AOT_870 53732 non-null values
AOT_675 53188 non-null values
AOT_500 51687 non-null values
AOT_440 53727 non-null values
AOT_380 51864 non-null values
AOT_340 52852 non-null values
Water(cm) 51687 non-null values
%TripletVar_1020 53710 non-null values
%TripletVar_870 53726 non-null values
%TripletVar_675 53182 non-null values
%TripletVar_500 51683 non-null values
%TripletVar_440 53721 non-null values
%TripletVar_380 51860 non-null values
%TripletVar_340 52846 non-null values
440-870Angstrom 53732 non-null values
380-500Angstrom 52253 non-null values
440-675Angstrom 53732 non-null values
500-870Angstrom 53732 non-null values
340-440Angstrom 53277 non-null values
Last_Processing_Date(dd/mm/yyyy) 53732 non-null values
Solar_Zenith_Angle 53732 non-null values
dtypes: datetime64[ns](1), float64(22), object(1)

Quiero crear dos columnas nuevas para este marco de datos basadas en aplicar una función a cada fila del marco de datos. No quiero tener que llamar a la función varias veces (por ejemplo, haciendo dos llamadas de apply separado) ya que es bastante intensivo en términos de computación. He intentado hacer esto de dos maneras, y ninguna de ellas funciona:

Usando apply :

He escrito una función que toma una Series y devuelve una tupla de los valores que quiero:

def calculate(s):
a = s[''path''] + 2*s[''row''] # Simple calc for example
b = s[''path''] * 0.153
return (a, b)

Intentar aplicar esto al DataFrame da un error:

st.apply(calculate, axis=1)
---------------------------------------------------------------------------
AssertionError Traceback (most recent call last)
<ipython-input-248-acb7a44054a7> in <module>()
----> 1 st.apply(calculate, axis=1)
C:/Python27/lib/site-packages/pandas/core/frame.pyc in apply(self, func, axis, broadcast, raw, args, **kwds)
4191 return self._apply_raw(f, axis)
4192 else:
-> 4193 return self._apply_standard(f, axis)
4194 else:
4195 return self._apply_broadcast(f, axis)
C:/Python27/lib/site-packages/pandas/core/frame.pyc in _apply_standard(self, func, axis, ignore_failures)
4274 index = None
4275
-> 4276 result = self._constructor(data=results, index=index)
4277 result.rename(columns=dict(zip(range(len(res_index)), res_index)),
4278 inplace=True)
C:/Python27/lib/site-packages/pandas/core/frame.pyc in __init__(self, data, index, columns, dtype, copy)
390 mgr = self._init_mgr(data, index, columns, dtype=dtype, copy=copy)
391 elif isinstance(data, dict):
--> 392 mgr = self._init_dict(data, index, columns, dtype=dtype)
393 elif isinstance(data, ma.MaskedArray):
394 mask = ma.getmaskarray(data)
C:/Python27/lib/site-packages/pandas/core/frame.pyc in _init_dict(self, data, index, columns, dtype)
521
522 return _arrays_to_mgr(arrays, data_names, index, columns,
--> 523 dtype=dtype)
524
525 def _init_ndarray(self, values, index, columns, dtype=None,
C:/Python27/lib/site-packages/pandas/core/frame.pyc in _arrays_to_mgr(arrays, arr_names, index, columns, dtype)
5411
5412 # consolidate for now
-> 5413 mgr = BlockManager(blocks, axes)
5414 return mgr.consolidate()
5415
C:/Python27/lib/site-packages/pandas/core/internals.pyc in __init__(self, blocks, axes, do_integrity_check)
802
803 if do_integrity_check:
--> 804 self._verify_integrity()
805
806 self._consolidate_check()
C:/Python27/lib/site-packages/pandas/core/internals.pyc in _verify_integrity(self)
892 "items")
893 if block.values.shape[1:] != mgr_shape[1:]:
--> 894 raise AssertionError(''Block shape incompatible with manager'')
895 tot_items = sum(len(x.items) for x in self.blocks)
896 if len(self.items) != tot_items:
AssertionError: Block shape incompatible with manager

Luego iba a asignar los valores devueltos desde apply a dos nuevas columnas utilizando el método que se muestra en esta pregunta . Sin embargo, ¡ni siquiera puedo llegar a este punto! Todo esto funciona bien si solo devuelvo un valor.

Usando un bucle:

Primero creé dos nuevas columnas del marco de datos y las establecí en None :

st[''a''] = None
st[''b''] = None

Luego hice un bucle sobre todos los índices e intenté modificar estos valores None que tenía allí, pero las modificaciones que hice no parecían funcionar. Es decir, no se generó ningún error, pero el DataFrame no pareció modificarse.

for i in st.index:
# do calc here
st.ix[i][''a''] = a
st.ix[i][''b''] = b

Pensé que ambos métodos funcionarían, pero ninguno de ellos lo hizo. Entonces, ¿qué estoy haciendo mal aquí? ¿Y cuál es la mejor manera, la más "pitónica" y "pandaónica" de hacer esto?

Answer 1

Esto se resolvió aquí: ¿se aplica la función pandas a la columna para crear múltiples columnas nuevas?

Aplicado a tu pregunta, esto debería funcionar:

def calculate(s):
a = s[''path''] + 2*s[''row''] # Simple calc for example
b = s[''path''] * 0.153
return pd.Series({''col1'': a, ''col2'': b})
df = df.merge(df.apply(calculate, axis=1), left_index=True, right_index=True)

Answer 2

Otra solución más basada en Asignar nuevas columnas en cadenas de métodos :

st.assign(a = st[''path''] + 2*st[''row''], b = st[''path''] * 0.153)

Tenga en cuenta que assign siempre devuelve una copia de los datos, dejando intacto el DataFrame original.

Answer 3

Para hacer que el primer enfoque funcione, intente devolver una serie en lugar de una tupla (aplicar arroja una excepción porque no sabe cómo pegar las filas nuevamente ya que el número de columnas no coincide con el fotograma original).

def calculate(s):
a = s[''path''] + 2*s[''row''] # Simple calc for example
b = s[''path''] * 0.153
return pd.Series(dict(col1=a, col2=b))

El segundo enfoque debería funcionar si reemplazas:

st.ix[i][''a''] = a

con:

st.ix[i, ''a''] = a

Answer 4

Siempre uso lambdas y la función map() incorporada para crear nuevas filas combinando otras filas:

st[''a''] = map(lambda path, row: path + 2 * row, st[''path''], st[''row''])

Puede ser un poco más complicado de lo necesario para hacer combinaciones lineales de columnas numéricas. Por otro lado, creo que es bueno adoptarlo como una convención, ya que se puede usar con combinaciones más complicadas de filas (por ejemplo, trabajar con cadenas) o completar datos faltantes en una columna usando funciones de las otras columnas.

Por ejemplo, digamos que tiene una tabla con columnas de género y título, y faltan algunos de los títulos. Puede llenarlos con una función de la siguiente manera:

title_dict = {''male'': ''mr.'', ''female'': ''ms.''}
table[''title''] = map(lambda title,
gender: title if title != None else title_dict[gender],
table[''title''], table[''gender''])