python - scikit - ¿Cómo remuestrear un marco de datos con diferentes funciones aplicadas a cada columna?

sklearn time series prediction

Question

Tengo una serie de tiempos con temperatura y radiación en un dataframe pandas. La resolución del tiempo es de 1 minuto en pasos regulares.

import datetime
import pandas as pd
import numpy as np
date_times = pd.date_range(datetime.datetime(2012, 4, 5, 8, 0),
datetime.datetime(2012, 4, 5, 12, 0),
freq=''1min'')
tamb = np.random.sample(date_times.size) * 10.0
radiation = np.random.sample(date_times.size) * 10.0
frame = pd.DataFrame(data={''tamb'': tamb, ''radiation'': radiation},
index=date_times)
frame
<class ''pandas.core.frame.DataFrame''>
DatetimeIndex: 241 entries, 2012-04-05 08:00:00 to 2012-04-05 12:00:00
Freq: T
Data columns:
radiation 241 non-null values
tamb 241 non-null values
dtypes: float64(2)

¿Cómo puedo muestrear este dataframe de dataframe a una resolución de una hora, calculando la media horaria de la temperatura y la suma horaria de la radiación?

Answer 1

Con pandas 0.18, la API de remuestreo cambió (consulte la docs ). Entonces para pandas> = 0.18 la respuesta es:

In [31]: frame.resample(''1H'').agg({''radiation'': np.sum, ''tamb'': np.mean})
Out[31]:
tamb radiation
2012-04-05 08:00:00 5.161235 279.507182
2012-04-05 09:00:00 4.968145 290.941073
2012-04-05 10:00:00 4.478531 317.678285
2012-04-05 11:00:00 4.706206 335.258633
2012-04-05 12:00:00 2.457873 8.655838

Respuesta anterior:

Estoy respondiendo mi pregunta para reflejar los cambios relacionados con las series de tiempo en pandas >= 0.8 (todas las demás respuestas están desactualizadas).

Usando pandas> = 0.8 la respuesta es:

In [30]: frame.resample(''1H'', how={''radiation'': np.sum, ''tamb'': np.mean})
Out[30]:
tamb radiation
2012-04-05 08:00:00 5.161235 279.507182
2012-04-05 09:00:00 4.968145 290.941073
2012-04-05 10:00:00 4.478531 317.678285
2012-04-05 11:00:00 4.706206 335.258633
2012-04-05 12:00:00 2.457873 8.655838

Answer 2

Necesitas usar groupby como tal:

grouped = frame.groupby(lambda x: x.hour)
grouped.agg({''radiation'': np.sum, ''tamb'': np.mean})
# Same as: grouped.agg({''radiation'': ''sum'', ''tamb'': ''mean''})

siendo la salida:

 radiation tamb
key_0
8 298.581107 4.883806
9 311.176148 4.983705
10 315.531527 5.343057
11 288.013876 6.022002
12 5.527616 8.507670

Así que, en esencia, estoy dividiendo el valor de la hora y luego calculando la media de tamb y la suma de radiation y devolviendo el DataFrame (enfoque similar a la ddply de R). Para más información, vería la página de documentación de groupby , así como this publicación del blog.

Edición: Para mejorar un poco esta escala, puede agrupar el día y la hora como tales:

grouped = frame.groupby(lambda x: (x.day, x.hour))
grouped.agg({''radiation'': ''sum'', ''tamb'': ''mean''})
radiation tamb
key_0
(5, 8) 298.581107 4.883806
(5, 9) 311.176148 4.983705
(5, 10) 315.531527 5.343057
(5, 11) 288.013876 6.022002
(5, 12) 5.527616 8.507670

Answer 3

Para atormentarlo, en pandas 0.8.0 (bajo un fuerte desarrollo en la rama de timeseries en GitHub), podrá hacer:

In [5]: frame.convert(''1h'', how=''mean'')
Out[5]:
radiation tamb
2012-04-05 08:00:00 7.840989 8.446109
2012-04-05 09:00:00 4.898935 5.459221
2012-04-05 10:00:00 5.227741 4.660849
2012-04-05 11:00:00 4.689270 5.321398
2012-04-05 12:00:00 4.956994 5.093980

Los métodos mencionados anteriormente son la estrategia correcta con la versión de producción actual de pandas.

Answer 4

También puede asof la asof utilizando el método pandas.DateRange objetos pandas.DateRange .

In [21]: hourly = pd.DateRange(datetime.datetime(2012, 4, 5, 8, 0),
... datetime.datetime(2012, 4, 5, 12, 0),
... offset=pd.datetools.Hour())
In [22]: frame.groupby(hourly.asof).size()
Out[22]:
key_0
2012-04-05 08:00:00 60
2012-04-05 09:00:00 60
2012-04-05 10:00:00 60
2012-04-05 11:00:00 60
2012-04-05 12:00:00 1
In [23]: frame.groupby(hourly.asof).agg({''radiation'': np.sum, ''tamb'': np.mean})
Out[23]:
radiation tamb
key_0
2012-04-05 08:00:00 271.54 4.491
2012-04-05 09:00:00 266.18 5.253
2012-04-05 10:00:00 292.35 4.959
2012-04-05 11:00:00 283.00 5.489
2012-04-05 12:00:00 0.5414 9.532