python - groupby - Cómo aplicar funciones de balanceo en un grupo por objeto en pandas

pandas groupby count

Question

Tengo dificultades para resolver un problema de revisión o reinicio en el marco de datos o quizás en grupo.

siguiente es un ejemplo simple de la dataframe que tengo:

              fruit    amount    
   20140101   apple     3
   20140102   apple     5
   20140102   orange    10
   20140104   banana    2
   20140104   apple     10
   20140104   orange    4
   20140105   orange    6
   20140105   grape     1
   …
   20141231   apple     3
   20141231   grape     2

Necesito calcular el valor promedio de ''cantidad'' de cada fruta en los 3 días anteriores para todos los días, y crear el siguiente marco de datos:

              fruit     average_in_last 3 days
   20140104   apple      4
   20140104   orange     10
   ...

por ejemplo en 20140104, los 3 días anteriores son 20140101, 20140102 y 20140103 (tenga en cuenta que la fecha en el marco de datos no es continua y 20140103 no existe), la cantidad promedio de manzana es (3 + 5) / 2 = 4 y naranja es 10/1 = 10, el resto es 0.

el marco de datos de muestra es muy simple, pero el marco de datos real es mucho más complicado y más grande. Espero que alguien pueda arrojar algo de luz sobre esto, gracias de antemano!

Answer 1

puedes hacerlo así:

>>> df
>>>
           fruit  amount
20140101   apple       3
20140102   apple       5
20140102  orange      10
20140104  banana       2
20140104   apple      10
20140104  orange       4
20140105  orange       6
20140105   grape       1

>>> g= df.set_index(''fruit'', append=True).groupby(level=1)
>>> res = g[''amount''].apply(pd.rolling_mean, 3, 1).reset_index(''fruit'')
>>> res

           fruit          0
20140101   apple   3.000000
20140102   apple   4.000000
20140102  orange  10.000000
20140104  banana   2.000000
20140104   apple   6.000000
20140104  orange   7.000000
20140105  orange   6.666667
20140105   grape   1.000000

actualizar

Bueno, como @cphlewis se menciona en los comentarios, mi código no dará los resultados que desea. He verificado diferentes enfoques y el que encontré hasta ahora es algo como esto (sin embargo, no estoy seguro del rendimiento):

>>> df.index = [pd.to_datetime(str(x), format=''%Y%m%d'') for x in df.index]
>>> df.reset_index(inplace=True)
>>> def avg_3_days(x):
        return df[(df[''index''] >= x[''index''] - pd.DateOffset(3)) & (df[''index''] < x[''index'']) & (df[''fruit''] == x[''fruit''])].amount.mean()

>>> df[''res''] = df.apply(avg_3_days, axis=1)
>>> df

       index   fruit  amount  res
0 2014-01-01   apple       3  NaN
1 2014-01-02   apple       5    3
2 2014-01-02  orange      10  NaN
3 2014-01-04  banana       2  NaN
4 2014-01-04   apple      10    4
5 2014-01-04  orange       4   10
6 2014-01-05  orange       6    7
7 2014-01-05   grape       1  NaN

Answer 2

También quería usar rolling con groupby, por eso llegué a esta página, pero creo que tengo una solución que es mejor que las sugerencias anteriores.

Usted podría hacer lo siguiente:

pivoted_df = pd.pivot_table(df, index=''date'', columns=''fruits'', values=''amount'')
average_fruits = pivoted_df.rolling(window=3).mean().stack() 

el .stack() no es necesario, pero transformará su tabla pivote de nuevo a un df regular

Answer 3

Suponiendo que tenemos un marco de datos así al principio,

>>> df
             fruit  amount
2017-06-01   apple       1
2017-06-03   apple      16
2017-06-04   apple      12
2017-06-05   apple       8
2017-06-06   apple      14
2017-06-08   apple       1
2017-06-09   apple       4
2017-06-02  orange      13
2017-06-03  orange       9
2017-06-04  orange       9
2017-06-05  orange       2
2017-06-06  orange      11
2017-06-07  orange       6
2017-06-08  orange       3
2017-06-09  orange       3
2017-06-10  orange      13
2017-06-02   grape      14
2017-06-03   grape      16
2017-06-07   grape       4
2017-06-09   grape      15
2017-06-10   grape       5

>>> dates = [i.date() for i in pd.date_range(''2017-06-01'', ''2017-06-10'')]

>>> temp = (df.groupby(''fruit'')[''amount'']
    .apply(lambda x: x.reindex(dates)  # fill in the missing dates for each group)
                      .fillna(0)   # fill each missing group with 0
                      .rolling(3)
                      .sum()) # do a rolling sum
    .reset_index()
    .rename(columns={''amount'': ''sum_of_3_days'', 
                     ''level_1'': ''date''}))  # rename date index to date col


>>> temp.head()
   fruit        date  amount
0  apple  2017-06-01     NaN
1  apple  2017-06-02     NaN
2  apple  2017-06-03    17.0
3  apple  2017-06-04    28.0
4  apple  2017-06-05    36.0

# converts the date index into date column 
>>> df = df.reset_index().rename(columns={''index'': ''date''})  
>>> df.merge(temp, on=[''fruit'', ''date''])
>>> df
          date   fruit  amount  sum_of_3_days
0   2017-06-01   apple       1                NaN
1   2017-06-03   apple      16               17.0
2   2017-06-04   apple      12               28.0
3   2017-06-05   apple       8               36.0
4   2017-06-06   apple      14               34.0
5   2017-06-08   apple       1               15.0
6   2017-06-09   apple       4                5.0
7   2017-06-02  orange      13                NaN
8   2017-06-03  orange       9               22.0
9   2017-06-04  orange       9               31.0
10  2017-06-05  orange       2               20.0
11  2017-06-06  orange      11               22.0
12  2017-06-07  orange       6               19.0
13  2017-06-08  orange       3               20.0
14  2017-06-09  orange       3               12.0
15  2017-06-10  orange      13               19.0
16  2017-06-02   grape      14                NaN
17  2017-06-03   grape      16               30.0
18  2017-06-07   grape       4                4.0
19  2017-06-09   grape      15               19.0
20  2017-06-10   grape       5               20.0