计算 data.table 中连续的分组列之间的差异

Question

我的数据结构如下：

DT <- data.table(Id=c(1,2,3,4,5), Va1=c(3,13,NA,NA,NA), Va2=c(4,40,NA,NA,4), Va3=c(5,34,NA,7,84),
Va4=c(2,23,NA,63,9), Vb1=c(8,45,1,7,0), Vb2=c(0,35,0,7,6), Vb3=c(63,0,0,0,5), Vc1=c(2,5,0,0,4))
>DT
   Id Va1 Va2 Va3 Va4 Vb1 Vb2 Vb3 Vc1
1:  1   3   4   5   2   8   0  63   2
2:  2  13  40  34  23  45  35   0   5
3:  3  NA  NA  NA  NA   1   0   0   0
4:  4  NA  NA   7  63   7   7   0   0
5:  5  NA   4  84   9   0   6   5   4

此外，我有一个引用所有列组的引用列表：

reference <- list(g.1=c(2,3,4,5), g.2=c(6,7,8), g.3=c(9))

第 2、3、4、5 列（变量 Va1、Va2、Va3 和 Va4）属于一组变量。第 6、7、8 列（变量 Vb1、Vb2、Vb3）属于第二组。第 9 列（变量 Vc1）属于第三组。

我需要做的是计算列组内连续列之间的差异。

即我需要找出 Va2 和 Va1、Va3 和 Va2 之间的区别等等...但是不是 Vb1 和 Va4 之间的区别。

输出应如下所示：

   Id Va1 Va2 Va3 Va4 Vb1 Vb2 Vb3 Vc1 D[Va1:Va2] D[Va2:Va3] D[Va3:Va4] D[Vb1:Vb2] D[Vb2:Vb3]
1:  1   3   4   5   2   8   0  63   2          1          1         -3         -8         63
2:  2  13  40  34  23  45  35   0   5         27         -6        -11        -10        -35
3:  3  NA  NA  NA  NA   1   0   0   0         NA         NA         NA         -1          0
4:  4  NA  NA   7  63   7   7   0   0         NA         NA         56          0         -7
5:  5  NA   4  84   9   0   6   5   4         NA         80        -75          6         -1

目前我正在使用以下循环：

  for(i in 1:(length(reference)-1)){
    tmp <- NULL
    tmp <- as.list(reference[[i]])
    tmp <- tmp[-length(tmp)]
    tmp <- mapply(c, lapply(tmp, FUN = function(x) x+1), tmp, SIMPLIFY=FALSE)
    for(j in 1:length(tmp)){
      data <- cbind(data, delta = data[, tmp[[j]][1], with = F] - data[, tmp[[j]][2], with = F])
    }
  }

但我的真实 data.table 有 300-500 列和 +1'000'000 行。

如何提高效率？

Answer 1

我认为你的循环很好，除了你应该使用 := 而不是 cbind 来添加列：

ref <- lapply(reference,function(x) names(DT)[x])

for (g in ref){
    if (length(g)==1) next
    gx   = tail(g,-1)
    gy   = head(g,-1)
    gn   = paste0("D[",gy,":",gx,"]")
    DT[,(gn) := mapply(function(x,y).SD[[x]]-.SD[[y]], gx, gy, SIMPLIFY=FALSE)]
}

计算 data.table 中连续的分组列之间的差异

Calculate the difference between consecutive, grouped columns in a data.table

r

data.table