Pandas 相对于任意级别重新索引 MultiIndex

Question

我正在尝试相对于索引的第二级重新索引数据框。我有一个数据框，其中索引的第一级是用户 ID，第二级是日期。例如：

pd.DataFrame({
'id': 3*['A'] + 5*['B'] + 4*['C'],
'date': ['01-01-2010', '02-01-2010', '12-01-2010',
         '04-01-2015', '05-01-2015', '03-01-2016', '04-01-2016', '05-01-2016',
         '01-01-2015', '02-01-2015', '03-01-2015', '04-01-2015'],
'value': np.random.randint(10,100, 12)})\
.set_index(['id', 'date'])

我想重新索引日期以填充缺失的日期，但仅限于每个 "id" 组的最大和最小日期之间的日期。

例如，用户 "A" 应该有从 2010 年 1 月到 2010 年 12 月的连续月度数据，用户 "B" 应该有从 2015 年 4 月到 2016 年 5 月的连续日期。为简单起见，我们假设我要填写带零的 NaN。

与此类似的其他问题假设我想对所有用户使用相同的 date_range，这在这个用例中不起作用。有什么想法吗？

Answer 1

这是你想要的吗？

In [52]: (df.reset_index().groupby('id')
    ...:    .apply(lambda x: x.set_index('date').resample('D').mean().fillna(0))
    ...: )
Out[52]:
               value
id date
A  2010-01-01   91.0
   2010-01-02    0.0
   2010-01-03    0.0
   2010-01-04    0.0
   2010-01-05    0.0
   2010-01-06    0.0
   2010-01-07    0.0
   2010-01-08    0.0
   2010-01-09    0.0
   2010-01-10    0.0
...              ...
C  2015-03-23    0.0
   2015-03-24    0.0
   2015-03-25    0.0
   2015-03-26    0.0
   2015-03-27    0.0
   2015-03-28    0.0
   2015-03-29    0.0
   2015-03-30    0.0
   2015-03-31    0.0
   2015-04-01   11.0

[823 rows x 1 columns]

PS 我首先将 date 转换为 datetime dtype...

Answer 2

我觉得你需要reset_index + groupby + resample + asfreq + fillna:

np.random.seed(123)
df = pd.DataFrame({
'id': 3*['A'] + 5*['B'] + 4*['C'],
'date': ['01-01-2010', '02-01-2010', '12-01-2010',
         '04-01-2015', '05-01-2015', '03-01-2016', '04-01-2016', '05-01-2016',
         '01-01-2015', '02-01-2015', '03-01-2015', '04-01-2015'],
'value': np.random.randint(10,100, 12)})

df['date'] = pd.to_datetime(df['date'])
df = df.set_index(['id', 'date'])
print (df)
               value
id date             
A  2010-01-01     76
   2010-02-01     27
   2010-12-01     93
B  2015-04-01     67
   2015-05-01     96
   2016-03-01     57
   2016-04-01     83
   2016-05-01     42
C  2015-01-01     56
   2015-02-01     35
   2015-03-01     93
   2015-04-01     88

df1 = df.reset_index(level='id').groupby('id')['value'].resample('D').asfreq().fillna(0)
print (df1.head(10))
               value
id date             
A  2010-01-01   76.0
   2010-01-02    0.0
   2010-01-03    0.0
   2010-01-04    0.0
   2010-01-05    0.0
   2010-01-06    0.0
   2010-01-07    0.0
   2010-01-08    0.0
   2010-01-09    0.0
   2010-01-10    0.0

但是如果只需要处理最大值和最小值 dates 首先需要 select 数据和 agg by idxmax idxmin with loc:

df = df.reset_index()
df1 = df.loc[df.groupby('id')['date'].agg(['idxmin', 'idxmax']).stack()]
print (df1)
   id       date  value
0   A 2010-01-01     76
2   A 2010-12-01     93
3   B 2015-04-01     67
7   B 2016-05-01     42
8   C 2015-01-01     56
11  C 2015-04-01     88

df1 = df1.set_index('date').groupby('id')['value'].resample('MS').asfreq().fillna(0)
print (df1.head(10))

Answer 3

使用 groupby 和 agg 获取 'start' 和 'end' 日期并建立 tuple 到 reindex 的日期。

m = dict(min='start', max='end')
df = df.reset_index().groupby('id').date.agg(['min', 'max']).rename(columns=m)
idx = [(i, d) for i, row in d2.iterrows() for d in pd.date_range(freq='MS', **row)]

df.reindex(idx, fill_value=0)

               value
id date             
A  2010-01-01     27
   2010-02-01     15
   2010-03-01      0
   2010-04-01      0
   2010-05-01      0
   2010-06-01      0
   2010-07-01      0
   2010-08-01      0
   2010-09-01      0
   2010-10-01      0
   2010-11-01      0
   2010-12-01     11
B  2015-04-01     10
   2015-05-01     94
   2015-06-01      0
   2015-07-01      0
   2015-08-01      0
   2015-09-01      0
   2015-10-01      0
   2015-11-01      0
   2015-12-01      0
   2016-01-01      0
   2016-02-01      0
   2016-03-01     42
   2016-04-01     15
   2016-05-01     71
C  2015-01-01     17
   2015-02-01     51
   2015-03-01     99
   2015-04-01     58

Pandas 相对于任意级别重新索引 MultiIndex

Pandas Reindexing MultiIndex Relative to Arbitrary Level

python

multi-index

pandas