熊猫时间序列重采样+线性调整值
Panda time series resample + adjusting values linearly
使用 python 和 pandas,我如何将时间序列重新采样到均匀的 5 分钟间隔(从整小时偏移=零分钟)同时线性调整值?
因此,我想转这个:
value
00:01 2
00:05 10
00:11 22
00:14 28
进入这个:
value
00:00 0
00:05 10
00:10 20
00:15 30
请注意“值”列是如何调整的。
- 为简单起见,我选择的值正好是 2 * 分钟数。
- 然而,在现实生活中,价值观并不是那么完美。有时在两个偶数 5 分钟的间隔之间存在不止一个值,有时在两个“真实”值之间存在不止一个 5 分钟的间隔,因此在重新采样时我需要,对于每个偶数 5 分钟的间隔,找到“真实” " 甚至 5 分钟间隔之前和之后的值,并从中计算线性插值。
PS.
网上到处都有很多关于这个的信息,但我仍然找不到一个函数(sum、max、mean 等,或者写我自己的 functino)可以实现我想要的要做。
我重新考虑了代码,因为注释中省略了要求。通过将原始数据框与扩展到一分钟的数据框组合来创建新的数据框。我对新数据框进行线性插值,并以 5 分钟为增量提取结果。这是我理解的过程。如果我错了,请再给我一个答案。
import pandas as pd
import numpy as np
import io
data = '''
time value
00:01 2
00:05 10
00:11 22
00:14 28
00:18 39
'''
df = pd.read_csv(io.StringIO(data), sep='\s+')
df['time'] = pd.to_datetime(df['time'], format='%H:%M')
time_rng = pd.date_range(df['time'][0], df['time'][4], freq='1min')
df2 = pd.DataFrame({'time':time_rng})
df2 = df2.merge(df, on='time', how='outer')
df2 = df2.set_index('time').interpolate('time')
df2.asfreq('5min')
value
time
1900-01-01 00:01:00 2.0
1900-01-01 00:06:00 12.0
1900-01-01 00:11:00 22.0
1900-01-01 00:16:00 33.5
您可以使用日期时间和时间模块来获取时间间隔的顺序。然后使用 pandas 将字典转换为数据框。这是执行此操作的代码。
import time, datetime
import pandas as pd
#set the dictionary as time and value
data = {'Time':[],'Value':[]}
#set a to 00:00 (HH:MM)
a = datetime.datetime(1,1,1,0,0,0)
#loop through the code to create 60 mins. You can increase loop if you want more values
#skip by 5 to get your 5 minute interval
for i in range (0,61,5):
# add the time and value into the dictionary
data['Time'].append(a.strftime('%H:%M'))
data['Value'].append(i*2)
#add 5 minutes to your date-time variable
a += datetime.timedelta(minutes=5)
#now that you have all the values in dictionary 'data', convert to DataFrame
df = pd.DataFrame.from_dict(data)
#print the dataframe
print (df)
#for your reference, I also printed the dictionary
print (data)
字典将如下所示:
{'Time': ['00:00', '00:05', '00:10', '00:15', '00:20', '00:25', '00:30', '00:35', '00:40', '00:45', '00:50', '00:55', '01:00'], 'Value': [0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120]}
数据框将如下所示:
Time Value
0 00:00 0
1 00:05 10
2 00:10 20
3 00:15 30
4 00:20 40
5 00:25 50
6 00:30 60
7 00:35 70
8 00:40 80
9 00:45 90
10 00:50 100
11 00:55 110
12 01:00 120
使用 python 和 pandas,我如何将时间序列重新采样到均匀的 5 分钟间隔(从整小时偏移=零分钟)同时线性调整值?
因此,我想转这个:
value
00:01 2
00:05 10
00:11 22
00:14 28
进入这个:
value
00:00 0
00:05 10
00:10 20
00:15 30
请注意“值”列是如何调整的。
- 为简单起见,我选择的值正好是 2 * 分钟数。
- 然而,在现实生活中,价值观并不是那么完美。有时在两个偶数 5 分钟的间隔之间存在不止一个值,有时在两个“真实”值之间存在不止一个 5 分钟的间隔,因此在重新采样时我需要,对于每个偶数 5 分钟的间隔,找到“真实” " 甚至 5 分钟间隔之前和之后的值,并从中计算线性插值。
PS.
网上到处都有很多关于这个的信息,但我仍然找不到一个函数(sum、max、mean 等,或者写我自己的 functino)可以实现我想要的要做。
我重新考虑了代码,因为注释中省略了要求。通过将原始数据框与扩展到一分钟的数据框组合来创建新的数据框。我对新数据框进行线性插值,并以 5 分钟为增量提取结果。这是我理解的过程。如果我错了,请再给我一个答案。
import pandas as pd
import numpy as np
import io
data = '''
time value
00:01 2
00:05 10
00:11 22
00:14 28
00:18 39
'''
df = pd.read_csv(io.StringIO(data), sep='\s+')
df['time'] = pd.to_datetime(df['time'], format='%H:%M')
time_rng = pd.date_range(df['time'][0], df['time'][4], freq='1min')
df2 = pd.DataFrame({'time':time_rng})
df2 = df2.merge(df, on='time', how='outer')
df2 = df2.set_index('time').interpolate('time')
df2.asfreq('5min')
value
time
1900-01-01 00:01:00 2.0
1900-01-01 00:06:00 12.0
1900-01-01 00:11:00 22.0
1900-01-01 00:16:00 33.5
您可以使用日期时间和时间模块来获取时间间隔的顺序。然后使用 pandas 将字典转换为数据框。这是执行此操作的代码。
import time, datetime
import pandas as pd
#set the dictionary as time and value
data = {'Time':[],'Value':[]}
#set a to 00:00 (HH:MM)
a = datetime.datetime(1,1,1,0,0,0)
#loop through the code to create 60 mins. You can increase loop if you want more values
#skip by 5 to get your 5 minute interval
for i in range (0,61,5):
# add the time and value into the dictionary
data['Time'].append(a.strftime('%H:%M'))
data['Value'].append(i*2)
#add 5 minutes to your date-time variable
a += datetime.timedelta(minutes=5)
#now that you have all the values in dictionary 'data', convert to DataFrame
df = pd.DataFrame.from_dict(data)
#print the dataframe
print (df)
#for your reference, I also printed the dictionary
print (data)
字典将如下所示:
{'Time': ['00:00', '00:05', '00:10', '00:15', '00:20', '00:25', '00:30', '00:35', '00:40', '00:45', '00:50', '00:55', '01:00'], 'Value': [0, 10, 20, 30, 40, 50, 60, 70, 80, 90, 100, 110, 120]}
数据框将如下所示:
Time Value
0 00:00 0
1 00:05 10
2 00:10 20
3 00:15 30
4 00:20 40
5 00:25 50
6 00:30 60
7 00:35 70
8 00:40 80
9 00:45 90
10 00:50 100
11 00:55 110
12 01:00 120