Pandas 仅在有意义时重新采样

Question

我有一个非常不规则的时间序列。两条记录之间的时间差可以是 1 秒或 10 天。

我想每 1 小时对数据重新采样一次，但仅当连续记录少于 1 小时时才如此。

如何解决这个问题，而又不会产生太多循环？

在上面的示例中，我只想对第 5-6 行（增量差异为 10 秒）和第 6-7 行（增量差异为 50 分钟）重新采样。其他的应该保持原样。

tmp=vals[['datumtijd','filter data']]

     datumtijd           filter data
0   1970-11-01 00:00:00        129.0
1   1970-12-01 00:00:00        143.0
2   1971-01-05 00:00:00        151.0
3   1971-02-01 00:00:00        151.0
4   1971-03-01 00:00:00        163.0
5   1971-03-01 00:00:10        163.0
6   1971-03-01 00:00:20        163.0
7   1971-03-01 00:01:10        163.0
8   1971-03-01 00:04:10        163.0
..         ...          ...
244 1981-08-19 00:00:00        102.0
245 1981-09-02 00:00:00         98.0
246 1981-09-17 00:00:00         92.0
247 1981-10-01 00:00:00         89.0
248 1981-10-19 00:00:00         92.0

Answer 1

您可以通过在时间戳的小时层使用 groupby 来稍微明确一点：

grouped = df.groupby(df['datumtijd'].dt.floor('1H')).mean()

这是明确地寻找每个现有数据点的小时并对匹配的数据点进行分组。

但您也可以只进行重新采样，然后过滤掉空数据，因为 pandas 仍然可以很快完成此操作：

resampled = df.resample('1H', on='datumtijd').mean().dropna()

在任何一种情况下，您都会得到以下信息（请注意，我更改了上次时间戳只是为了让控制台显示小时数）：

                     filter data
datumtijd                       
1970-11-01 00:00:00        129.0
1970-12-01 00:00:00        143.0
1971-01-05 00:00:00        151.0
1971-02-01 00:00:00        151.0
1971-03-01 00:00:00        163.0
1981-08-19 00:00:00        102.0
1981-09-02 00:00:00         98.0
1981-09-17 00:00:00         92.0
1981-10-01 00:00:00         89.0
1981-10-19 03:00:00         92.0

还有一个快速说明。在您的示例中，第 5-8 行都发生在同一小时内，因此它们都组合在一起（小时：分钟：秒）！

另请参阅此 related post。

Pandas 仅在有意义时重新采样

Pandas resample only when makes sense

pandas

pandas-resample