在每个时间单位具有不同观测值的数据框中填充 "implied missing values"

Question

我有一个包含时空数据的大型数据集。每组坐标都与一个 id（电脑游戏中的玩家 id）相关联。不幸的是，并不是每个时间单位都记录每个 id 的坐标。如果在 x 时间戳的特定 id 的读数不可用，则该行完全从数据集中省略，而不是记录为 NA。

我希望每个时间单位的观察量与唯一 ID 相同（即插入 "implied missing NAs"）。在缺少 id 的时间单位上，应将它们作为新行插入，并以 NA 作为坐标。

这里有一个虚拟数据集来说明：

time <- c(10,10,10,10,11,11,11,11,11,11,12,12,12,12,13,13,14,14,14,14,14,14,15,15,15)
id <- c(1,3,4,5,1,2,3,4,5,6,2,4,5,6,3,6,1,2,3,4,5,6,2,4,5)
x <- c(128,128,64,64,124,128,120,68,64,64,122,71,65,64,112,74,116,114,113,73,70,70,111,75,70)
y <- c(128,128,64,66,125,128,124,66,67,64,124,67,71,68,113,68,115,119,113,76,69,77,116,80,82)

spatiodf <- as.data.frame(cbind(time, id, x, y))


   time id   x   y
1    10  1 128 128
2    10  3 128 128
3    10  4  64  64
4    10  5  64  66
5    11  1 124 125
6    11  2 128 128
7    11  3 120 124
8    11  4  68  66
9    11  5  64  67
10   11  6  64  64
11   12  1 118 123
12   12  2 122 124
13   12  4  71  67
14   12  5  65  71
15   12  6  64  68
16   13  3 112 113
17   13  6  74  68
18   14  1 116 115
19   14  2 114 119
20   14  3 113 113
21   14  4  73  76
22   14  5  70  69
23   14  6  70  77
24   15  2 111 116
25   15  4  75  80
26   15  5  70  82

从上面的输出中，我想得到下面的输出，其中重新创建了数据框，每个时间单位都有相同数量的观察（并且 NA 值被手动插入到具有缺失值的行中）。

time <- rep(10:15, each = 6)
id <- rep(1:6, times = 6)
x <- c(128,NA,128,64,64,NA,124,128,120,68,64,64,NA,122,NA,71,65,64,NA,NA,112,NA,NA,74,116,114,113,73,70,70,NA,111,NA,75,70,NA)
y <- c(128,NA,128,64,66,NA,125,128,124,66,67,64,NA,124,NA,67,71,68,NA,NA,113,NA,NA,68,115,119,113,76,69,77,NA,116,NA,80,82,NA)

spatiodf_equal_obs <- as.data.frame(cbind(time, id, x, y))

library(dplyr)
spatiodf_equal_obs %>% 
  arrange(id)

   time id   x   y
1    10  1 128 128
2    11  1 124 125
3    12  1  NA  NA
4    13  1  NA  NA
5    14  1 116 115
6    15  1  NA  NA
7    10  2  NA  NA
8    11  2 128 128
9    12  2 122 124
10   13  2  NA  NA
11   14  2 114 119
12   15  2 111 116
13   10  3 128 128
14   11  3 120 124
15   12  3  NA  NA
16   13  3 112 113
17   14  3 113 113
18   15  3  NA  NA
19   10  4  64  64
20   11  4  68  66
21   12  4  71  67
22   13  4  NA  NA
23   14  4  73  76
24   15  4  75  80
25   10  5  64  66
26   11  5  64  67
27   12  5  65  71
28   13  5  NA  NA
29   14  5  70  69
30   15  5  70  82
31   10  6  NA  NA
32   11  6  64  64
33   12  6  64  68
34   13  6  74  68
35   14  6  70  77
36   15  6  NA  NA

数据需要采用上述格式的原因是因为我希望能够使用同一 ID 中最接近的前一个或后一个条目来填充 NA 值。一旦我们在上面的输出中有了数据帧，就可以使用 tidyr 中的 fill() 来完成：

library(tidyr)
res <- spatiodf_equal_obs %>%
  group_by(id) %>%
  fill(x, y, .direction = "down") %>%
  fill(x, y, .direction = "up")

我已经尝试了很多传播、收集的组合（以及创建要合并的新数据帧的技巧（df1、df2、all=TRUE））。不过，我似乎无法弄清楚如何从第一个数据框转到第二个数据框。

最终输出应如下所示：

   time id   x   y
1    10  1 128 128
2    11  1 124 125
3    12  1 124 125
4    13  1 124 125
5    14  1 116 115
6    15  1 116 115
7    10  2 128 128
8    11  2 128 128
9    12  2 122 124
10   13  2 122 124
11   14  2 114 119
12   15  2 111 116
13   10  3 128 128
14   11  3 120 124
15   12  3 120 124
16   13  3 112 113
17   14  3 113 113
18   15  3 113 113
19   10  4  64  64
20   11  4  68  66
21   12  4  71  67
22   13  4  71  67
23   14  4  73  76
24   15  4  75  80
25   10  5  64  66
26   11  5  64  67
27   12  5  65  71
28   13  5  65  71
29   14  5  70  69
30   15  5  70  82
31   10  6  64  64
32   11  6  64  64
33   12  6  64  68
34   13  6  74  68
35   14  6  70  77
36   15  6  70  77

Answer 1

要用取自最近行的值填充空白，您可以执行以下操作：

library(data.table)
setDT(spatiodf)

resDT = spatiodf[
  CJ(id = id, time = min(time):max(time), unique = TRUE), on=.(id, time), roll="nearest"
]

# verify
fsetequal(data.table(res), resDT) # TRUE

工作原理

setDT 就地转换为 data.table，因此不需要 <-。
DT[i, on=, roll=] 使用 i 查找 DT 中的行，将每个 i 滚动到 DT 中的一行。 "roll" 在 on= 的最后一列完成。
CJ(a, b, unique = TRUE) returns a 和 b 的所有组合，如基础中的 expand.grid。

在每个时间单位具有不同观测值的数据框中填充 "implied missing values"

Filling "implied missing values" in a data frame that has varying observations per time unit

merge

r

data-manipulation

dplyr

tidyr