column - python pandas dataframe groupby example

Pandas: volver a muestrear series de tiempo con groupby

Question

Dado el siguiente marco de datos de pandas:

In [115]: times = pd.to_datetime(pd.Series([''2014-08-25 21:00:00'',''2014-08-25 21:04:00'',
                                            ''2014-08-25 22:07:00'',''2014-08-25 22:09:00'']))
          locations = [''HK'', ''LDN'', ''LDN'', ''LDN'']
          event = [''foo'', ''bar'', ''baz'', ''qux'']
          df = pd.DataFrame({''Location'': locations,
                             ''Event'': event}, index=times)
          df
Out[115]:
                               Event Location
          2014-08-25 21:00:00  foo   HK
          2014-08-25 21:04:00  bar   LDN
          2014-08-25 22:07:00  baz   LDN
          2014-08-25 22:09:00  qux   LDN

Me gustaría volver a muestrear los datos para agregarlos cada hora según el recuento, mientras que la agrupación por ubicación produce un marco de datos que se parece a esto:

Out[115]:
                               HK    LDN
          2014-08-25 21:00:00  1     1
          2014-08-25 22:00:00  0     2

He intentado varias combinaciones de resample () y groupby () pero sin suerte. ¿Cómo voy a hacer esto?

Answer 1

Pandas 0.21 respuesta: TimeGrouper está en desuso

Hay dos opciones para hacer esto. En realidad, pueden dar diferentes resultados en función de sus datos. La primera opción agrupa por ubicación y dentro de los grupos de ubicación por hora. La segunda opción agrupa por Ubicación y hora al mismo tiempo.

Opción 1 : usar groupby + resample

grouped = df.groupby(''Location'').resample(''H'')[''Event''].count()

Opción 2 : groupby(pd.Grouper) la ubicación y DatetimeIndex junto con groupby(pd.Grouper)

grouped = df.groupby([''Location'', pd.Grouper(freq=''H'')])[''Event''].count()

Ambos resultarán en lo siguiente:

Location                     
HK        2014-08-25 21:00:00    1
LDN       2014-08-25 21:00:00    1
          2014-08-25 22:00:00    2
Name: Event, dtype: int64

Y luego remodelar

grouped.unstack(''Location'', fill_value=0)

Saldrá

Location             HK  LDN
2014-08-25 21:00:00   1    1
2014-08-25 22:00:00   0    2

Answer 2

En mi publicación original, sugerí usar pd.TimeGrouper . Hoy en día, use pd.Grouper lugar de pd.TimeGrouper . La sintaxis es en gran parte la misma, pero TimeGrouper ahora está en desuso a favor de pd.Grouper .

Además, mientras que pd.TimeGrouper solo podía agruparse por DatetimeIndex, pd.Grouper puede agrupar por columnas de fecha y hora que puede especificar a través del parámetro key .

Podría usar un pd.Grouper para agrupar el marco de datos de DatetimeIndex por hora:

grouper = df.groupby([pd.Grouper(''1H''), ''Location''])

usa count para contar el número de eventos en cada grupo:

grouper[''Event''].count()
#                      Location
# 2014-08-25 21:00:00  HK          1
#                      LDN         1
# 2014-08-25 22:00:00  LDN         2
# Name: Event, dtype: int64

use unstack para mover el nivel del índice de Location a un nivel de columna:

grouper[''Event''].count().unstack()
# Out[49]: 
# Location             HK  LDN
# 2014-08-25 21:00:00   1    1
# 2014-08-25 22:00:00 NaN    2

y luego use fillna para cambiar los NaN a ceros.

Poniendolo todo junto,

grouper = df.groupby([pd.Grouper(''1H''), ''Location''])
result = grouper[''Event''].count().unstack(''Location'').fillna(0)

rendimientos

Location             HK  LDN
2014-08-25 21:00:00   1    1
2014-08-25 22:00:00   0    2

Answer 3

Grupo de columnas múltiples por

untubu es acertado con su respuesta, pero quería agregar lo que podría hacer si tuviera una tercera columna, diga Cost y quisiera agregarla como arriba. Fue a través de la combinación de la respuesta de unutbu y esta, que descubrí cómo hacerlo y pensé que compartiría para futuros usuarios.

Crear DataFrame con Cost colunm.

In[1]: 
      import pandas as pd

      times = pd.to_datetime(pd.Series([''2014-08-25 21:00:00'',
                  ''2014-08-25 21:04:00'',''2014-08-25 22:07:00'',''2014-08-25 22:09:00'']))

      locations = [''HK'', ''LDN'', ''LDN'', ''LDN'']
      event = [''foo'', ''bar'', ''baz'', ''qux'']
      cost = [20, 24, 34, 52] # add in cost colunm

      df = pd.DataFrame({''Location'': locations, ''Event'': event, ''Cost'': cost}, index=times)
      df

Out[1]:
                               Event Location Cost
          2014-08-25 21:00:00  foo   HK       20
          2014-08-25 21:04:00  bar   LDN      24
          2014-08-25 22:07:00  baz   LDN      34
          2014-08-25 22:09:00  qux   LDN      52

Ahora agg utilizando la función agg para especificar cada método de agregación de columnas, es decir, conteo, media, suma, etc.

In[2]:    
      df = df.groupby([pd.TimeGrouper(''1H''), ''Location'']).agg({''Event'': np.sum,
                                                               ''Cost'': np.mean})

Out[2]:
                               Location    Event     Cost
          2014-08-25 21:00:00  HK          1         20
                               LDN         1         24
          2014-08-25 22:00:00  LDN         2         43

Luego, el final del unstack rellena con NaN con ceros y se muestra como int porque es bueno.

In[3]: 
      df.df.unstack().fillna(0).astype(int)

Out[3]:

                                Cost      Event
                    Location    HK  LDN   HK   LDN
         2014-08-25 21:00:00    20  24    1    1
         2014-08-25 22:00:00    0   43    0    2