填充和重塑 pandas 数据帧

Question

我有一个具有以下形式的数据框：

data = pd.DataFrame({'ID':[1,1,1,2,2,2,2,3,3],'Time':[0,1,2,0,1,2,3,0,1],
                     'sig':[2,3,1,4,2,0,2,3,5],'sig2':[9,2,8,0,4,5,1,1,0],
                     'group':['A','A','A','B','B','B','B','A','A']})

print(data)

   ID  Time  sig  sig2 group
0   1     0    2     9     A
1   1     1    3     2     A
2   1     2    1     8     A
3   2     0    4     0     B
4   2     1    2     4     B
5   2     2    0     5     B
6   2     3    2     1     B
7   3     0    3     1     A
8   3     1    5     0     A

我想重塑和填充，使每个 'ID' 具有相同数量的时间值，sig1、sig2 用零填充（或 ID 内的平均值）并且该组具有相同的字母值.重新填充后的输出将是：

data_pad = pd.DataFrame({'ID':[1,1,1,1,2,2,2,2,3,3,3,3],'Time':[0,1,2,3,0,1,2,3,0,1,2,3],
                     'sig1':[2,3,1,0,4,2,0,2,3,5,0,0],'sig2':[9,2,8,0,0,4,5,1,1,0,0,0],
                     'group':['A','A','A','A','B','B','B','B','A','A','A','A']})

print(data_pad)

    ID  Time  sig1  sig2 group
0    1     0     2     9     A
1    1     1     3     2     A
2    1     2     1     8     A
3    1     3     0     0     A
4    2     0     4     0     B
5    2     1     2     4     B
6    2     2     0     5     B
7    2     3     2     1     B
8    3     0     3     1     A
9    3     1     5     0     A
10   3     2     0     0     A
11   3     3     0     0     A

我的最终目标是最终将其重塑为具有形状（ID 数量、时间点数量、序列数量{2}）的东西。

似乎如果我旋转 data，它会填充 nan 值，这对信号值来说很好，但对组来说不是。我也希望避免循环遍历 data.groupby('ID')，因为我的实际数据有大量组，循环可能会很慢。

Answer 1

这是使用 pd.MultiIndex.from_product 创建新索引并将其用于 Time 列上的 reindex 的一种方法：

df = data.set_index(['ID', 'Time'])
# define a the new index
ix = pd.MultiIndex.from_product([df.index.levels[0], 
                                 df.index.levels[1]], 
                                 names=['ID', 'Time'])
# reindex using the above multiindex
df = df.reindex(ix, fill_value=0)
# forward fill the missing values in group
df['group'] = df.group.mask(df.group.eq(0)).ffill()

print(df.reset_index())

    ID   Time  sig  sig2 group
0    1     0    2     9     A
1    1     1    3     2     A
2    1     2    1     8     A
3    1     3    0     0     A
4    2     0    4     0     B
5    2     1    2     4     B
6    2     2    0     5     B
7    2     3    2     1     B
8    3     0    3     1     A
9    3     1    5     0     A
10   3     2    0     0     A
11   3     3    0     0     A

Answer 2

IIUC：

(data.pivot_table(columns='Time', index=['ID','group'], fill_value=0)
     .stack('Time')
     .sort_index(level=['ID','Time'])
     .reset_index()
)

输出：

    ID group  Time  sig  sig2
0    1     A     0    2     9
1    1     A     1    3     2
2    1     A     2    1     8
3    1     A     3    0     0
4    2     B     0    4     0
5    2     B     1    2     4
6    2     B     2    0     5
7    2     B     3    2     1
8    3     A     0    3     1
9    3     A     1    5     0
10   3     A     2    0     0
11   3     A     3    0     0

填充和重塑 pandas 数据帧

Padding and reshaping pandas dataframe

python

padding

pandas