Pandas 按时间戳和 ID 分组并计数

Question

我有以下格式的数据框：

import pandas as pd
d1 = {'ID': ['A','A','A','B','B','B','B','B','C'], 
'Time': 
['1/18/2016','2/17/2016','2/16/2016','1/15/2016','2/14/2016','2/13/2016',
'1/12/2016','2/9/2016','1/11/2016'],
'Product_ID': ['2','1','1','1','1','2','1','2','2'], 
'Var_1': [0.11,0.22,0.09,0.07,0.4,0.51,0.36,0.54,0.19],
'Var_2': [1,0,1,0,1,0,1,0,1],
'Var_3': ['1','1','1','1','0','1','1','0','0']}
df1 = pd.DataFrame(d1)

其中 df1 的形式为：

ID  Time        Product_ID  Var_1   Var_2   Var_3
A   1/18/2016   2           0.11    1       1
A   2/17/2016   1           0.22    0       1
A   2/16/2016   1           0.09    1       1
B   1/15/2016   1           0.07    0       1
B   2/14/2016   1           0.4     1       0
B   2/13/2016   2           0.51    0       1
B   1/12/2016   1           0.36    1       1
B   2/9/2016    2           0.54    0       0
C   1/11/2016   2           0.19    1       0

其中时间采用 'MM/DD/YY' 格式。

这是我必须要做的：

1) 我想做的是按时间（特别是每个月）对 ID 和产品 ID 进行分组。

2）然后我要进行以下列的操作。
a) 首先，我想找到 Var_2 和 Var_3 和
的列的总和 b) 找到列 Var_1 的平均值。

3) 然后，我想为每个月创建一个每个 ID 和 Product_ID 的计数列。

4) 最后，我还想输入没有条目的项目 ID 和产品 ID。

例如，对于时间 = 2016-1（2016 年 1 月）中的 ID = A 和产品 ID = 1，没有观测值，因此所有变量都取值 0。

同样，对于时间 = 2016-2（2016 年 1 月）中的 ID = A 和产品 ID = 1，
Var_1 = (.22+.09)/2 = 0.155
Var_2 = 1,
Var_3 = 1+1=2
最后计数 = 2.

这是我想要的输出。

ID  Product_ID  Time    Var_1   Var_2   Var_3   Count
A   1           2016-1  0       0       0       0
A   1           2016-2  0.155   1       2       2
B   1           2016-1  0.215   1       1       2
B   1           2016-2  1       0.4     0       1
C   1           2016-1  0       0       0       0
C   1           2016-2  0       0       0       0
A   2           2016-1  0.11    1       1       1
A   2           2016-2  0       0       0       0
B   2           2016-1  0       0       0       0
B   2           2016-2  0.455   1       2       2
C   2           2016-1  0.19    1       0       1
C   2           2016-2  0       0       0       0

这超出了我的编程能力（我知道 groupby 函数存在，但我不知道如何合并其余的更改）。如果您有任何问题，请告诉我。

如有任何帮助，我们将不胜感激。谢谢

Answer 1

我分解步骤。

df1.Time=pd.to_datetime(df1.Time)
df1.Time=df1.Time.dt.month+df1.Time.dt.year*100
df1['Var_3']=df1['Var_3'].astype(int)

output=df1.groupby(['ID','Product_ID','Time']).agg({'Var_1':'mean','Var_2':'sum','Var_3':'sum'})
output=output.unstack(2).stack(dropna=False).fillna(0)# missing one .


output['Count']=output.max(1)
output.reset_index().sort_values(['Product_ID','ID'])


Out[1032]: 
  ID Product_ID    Time  Var_3  Var_2  Var_1  Count
0  A          1  201601    0.0    0.0  0.000    0.0
1  A          1  201602    2.0    1.0  0.155    2.0
4  B          1  201601    2.0    1.0  0.215    2.0
5  B          1  201602    0.0    1.0  0.400    1.0
2  A          2  201601    1.0    1.0  0.110    1.0
3  A          2  201602    0.0    0.0  0.000    0.0
6  B          2  201601    0.0    0.0  0.000    0.0
7  B          2  201602    1.0    0.0  0.525    1.0
8  C          2  201601    0.0    1.0  0.190    1.0
9  C          2  201602    0.0    0.0  0.000    0.0

Pandas 按时间戳和 ID 分组并计数

Pandas group by timestamp and id and count

python

grouping

python-2.7

pandas

data-cleaning