使用 purrr 和嵌套 data.frame 计算批量成对相关

Question

我想为每个 cyl 计算 "mpg" 和所有其他感兴趣的数值变量之间的成对相关性在 mtcars 数据集中。我想采用整洁数据原则。

使用 corrr::correlate() 相当容易。

library(dplyr)
library(tidyr)
library(purrr)
library(corrr)
data(mtcars)

mtcars2 <- mtcars[,1:7] %>%
  group_nest(cyl) %>%
  mutate(cors = map(data, corrr::correlate),
         stretch = map(cors, corrr::stretch)) %>%
  unnest(stretch)

mtcars2 %>%
  filter(x == "mpg")

通过使用 corrr::correlate()，已计算出所有可用的成对相关性。我可以使用 dplyr::filter() 到 select 感兴趣的相关性。

然而，当数据集很大时，大量计算会涉及不需要的相关性，使得这种方法非常耗时。所以我试着只计算 mpg 与其他。我对purrr不是很熟悉，下面的代码也不行

mtcars2 <- mtcars[,1:7] %>%
  group_nest(cyl) %>%
  mutate(comp = map(data, ~colnames),
         corr = map(comp, ~cor.test(data[["mpg"]], data[[.]])))

Answer 1

这对你有用吗？我过去曾这样做过，但是在较小的数据集上并且没有对其进行基准测试，因此不确定性能。我使用 pivot_longer 在嵌套之前重塑数据。您传递的变量基本上用作过滤步骤，有点

mtcars2 <- mtcars[,1:7] %>%
  pivot_longer(c(-mpg, -cyl), names_to = "y.var", values_to = "value" ) %>% 
  group_nest(cyl, y.var) %>%
  mutate(x.var  = "mpg", #just so you  can see this in the output
    cor = map_dbl(data, ~ {cor <- cor.test(.x$mpg, .x$value)
                                cor$estimate})) %>%
  select(data, cyl, x.var , y.var, cor) %>% 
  arrange(cyl, y.var)

Answer 2

如果您需要使用cor.test，下面是一个使用扫帚的选项：

library(broom)
library(tidyr)
library(dplyr)

mtcars[,1:7] %>% 
pivot_longer(-c(mpg,cyl)) %>% 
group_by(cyl,name) %>% 
do(tidy(cor.test(.$mpg,.$value)))

# A tibble: 15 x 10
# Groups:   cyl, name [15]
     cyl name  estimate statistic p.value parameter conf.low conf.high method
   <dbl> <chr>    <dbl>     <dbl>   <dbl>     <int>    <dbl>     <dbl> <chr> 
 1     4 disp   -0.805     -4.07  0.00278         9   -0.947   -0.397  Pears…
 2     4 drat    0.424      1.41  0.193           9   -0.236    0.816  Pears…
 3     4 hp     -0.524     -1.84  0.0984          9   -0.855    0.111  Pears…
 4     4 qsec   -0.236     -0.728 0.485           9   -0.732    0.424  Pears…
 5     4 wt     -0.713     -3.05  0.0137          9   -0.920   -0.198  Pears…
 6     6 disp    0.103      0.232 0.826           5   -0.705    0.794  Pears…
 7     6 drat    0.115      0.258 0.807           5   -0.699    0.799  Pears…

如果您只需要相关性，对于大数据集，嵌套等可能代价高昂且不必要，因为您可以简单地执行 cor(,) 并融化它：

#define columns to correlate
cor_vars = setdiff(colnames(mtcars)[1:7],"cyl")
split(mtcars[,1:7],mtcars$cyl) %>% 
map_dfr(~data.frame(x="mpg",y=cor_vars,
cyl=unique(.x$cyl),rho=as.numeric(cor(.x$mpg,.x[,cor_vars]))))

     x    y cyl         rho
1  mpg  mpg   4  1.00000000
2  mpg disp   4 -0.80523608
3  mpg   hp   4 -0.52350342
4  mpg drat   4  0.42423947
5  mpg   wt   4 -0.71318483
6  mpg qsec   4 -0.23595389
7  mpg  mpg   6  1.00000000
8  mpg disp   6  0.10308269
9  mpg   hp   6 -0.12706785
10 mpg drat   6  0.11471598
11 mpg   wt   6 -0.68154982
12 mpg qsec   6 -0.41871779
13 mpg  mpg   8  1.00000000
14 mpg disp   8 -0.51976704
15 mpg   hp   8 -0.28363567
16 mpg drat   8  0.04793248
17 mpg   wt   8 -0.65035801
18 mpg qsec   8 -0.10433602

使用 purrr 和嵌套 data.frame 计算批量成对相关

Calculate bulk pair-wise correlation using purrr and nested data.frame

r

correlation

dplyr

tidyr

purrr