使用 pandas 计算事件之间的持续时间

Question

我有一个数据框

df = pd.DataFrame([['2018-07-02', 'B'],
 ['2018-07-03', 'A'],
 ['2018-07-06', 'B'],
 ['2018-07-08', 'B'],
 ['2018-07-09', 'A'],
 ['2018-07-09', 'A'],
 ['2018-07-10', 'A'],
 ['2018-07-12', 'B'],
 ['2018-07-15', 'A'],
 ['2018-07-16', 'A'],
 ['2018-07-18', 'B'],
 ['2018-07-22', 'A'],
 ['2018-07-25', 'B'],
 ['2018-07-25', 'B'],
 ['2018-07-27', 'A'],
 ['2018-07-28', 'A']], columns = ['DateEvent','Event'])

其中，计数从事件 A 开始，到事件 B 结束。有些事件可能不止一天开始，也可能不止一天结束。

我已经计算出差异了：

df = df.set_index('DateEvent')
begin = df.loc[df['Event'] == 'A'].index
cutoffs = df.loc[df['Event'] == 'B'].index

idx = cutoffs.searchsorted(begin)
mask = idx < len(cutoffs)
idx = idx[mask]
begin = begin[mask]
end = cutoffs[idx]

pd.DataFrame({'begin':begin, 'end':end})

但我也得到了多个开始和结束的区别：

begin         end
0  2018-07-03  2018-07-06
1  2018-07-09  2018-07-12
2  2018-07-09  2018-07-12
3  2018-07-10  2018-07-12
4  2018-07-15  2018-07-18
5  2018-07-16  2018-07-18
6  2018-07-22  2018-07-25

所需的输出包括事件 A 的第一次出现和事件 B 的最后一次出现...寻找最大持续时间，以确保万无一失。

我可以在删除不必要的事件之前或之后循环，但是有更好、更 pythonic 的方法吗？

谢谢，

阿莱斯

编辑：

我一直在成功地将代码用作 groupby 中的函数。但它不干净，确实需要一些时间。如何重写代码以将组包含在 df 中？

df = pd.DataFrame([['2.07.2018', 1, 'B'],
['3.07.2018', 1, 'A'],
['3.07.2018', 2, 'A'],
['6.07.2018', 2, 'B'],
['8.07.2018', 2, 'B'],
['9.07.2018', 2, 'A'],
['9.07.2018', 2, 'A'],
['9.07.2018', 2, 'B'],
['9.07.2018', 3, 'A'],
['10.07.2018', 3, 'A'],
['10.07.2018', 3, 'B'],
['12.07.2018', 3, 'B'],
['15.07.2018', 3, 'A'],
['16.07.2018', 4, 'A'],
['16.07.2018', 4, 'B'],
['18.07.2018', 4, 'B'],
['18.07.2018', 4, 'A'],
['22.07.2018', 5, 'A'],
['25.07.2018', 5, 'B'],
['25.07.2018', 7, 'B'],
['25.07.2018', 7, 'A'],
['25.07.2018', 7, 'B'],
['27.07.2018', 9, 'A'],
['28.07.2018', 9, 'A'],
['28.07.2018', 9, 'B']], columns = ['DateEvent','Group','Event'])

我正在尝试以某种方式对一组进行 cumsum 组合，但无法获得所需的结果。

谢谢！

Answer 1

让我们试试：

df = pd.DataFrame([['2018-07-02', 'B'],
 ['2018-07-03', 'A'],
 ['2018-07-06', 'B'],
 ['2018-07-08', 'B'],
 ['2018-07-09', 'A'],
 ['2018-07-09', 'A'],
 ['2018-07-10', 'A'],
 ['2018-07-12', 'B'],
 ['2018-07-15', 'A'],
 ['2018-07-16', 'A'],
 ['2018-07-18', 'B'],
 ['2018-07-22', 'A'],
 ['2018-07-25', 'B'],
 ['2018-07-25', 'B'],
 ['2018-07-27', 'A'],
 ['2018-07-28', 'A']], columns = ['DateEvent','Event'])

a = (df['Event'] != 'A').cumsum()
a = a.groupby(a).cumcount()
df['Event Group'] = (a == 1).cumsum()

df_out = df.groupby('Event Group').filter(lambda x: set(x['Event']) == set(['A','B']))\
           .groupby('Event Group')['DateEvent'].agg(['first','last'])\
           .rename(columns={'first':'start','last':'end'})\
           .reset_index()

print(df_out)

输出：

   Event Group       start         end
0            1  2018-07-03  2018-07-08
1            2  2018-07-09  2018-07-12
2            3  2018-07-15  2018-07-18
3            4  2018-07-22  2018-07-25

编辑

a = (df['Event'] != 'A').cumsum().mask(df['Event'] != 'A')
df['Event Group'] = a.ffill()
df_out = df.groupby('Event Group').filter(lambda x: set(x['Event']) == set(['A','B']))\
           .groupby('Event Group')['DateEvent'].agg(['first','last'])\
           .rename(columns={'first':'start','last':'end'})\
           .reset_index()

使用 pandas 计算事件之间的持续时间

Calculate duration between events with pandas

python

diff

pandas

编辑