我可以在 R 中并行读取 1 个大的 CSV 文件吗？
Can I read 1 big CSV file in parallel in R?
我有一个很大的 csv 文件，需要很长时间才能阅读。我可以使用 "parallel" 或相关包在 R 中并行阅读吗？我试过使用 mclapply，但它不起作用。
根据 OP 的评论，data.table 包中的 fread 有效。这是代码：
library(data.table)
dt <- fread("myFile.csv")
在 OP 的情况下，使用 read.csv 及时读取一个 1.2GB 的文件大约需要 4-5 分钟，使用 fread 仅需 14 秒。
2021 年 1 月 29 日更新： 看来 fread() 现在根据软件包创建者的 Tweet 并行工作。
我有一个很大的 csv 文件，需要很长时间才能阅读。我可以使用 "parallel" 或相关包在 R 中并行阅读吗？我试过使用 mclapply，但它不起作用。
根据 OP 的评论，data.table 包中的 fread 有效。这是代码：
library(data.table)
dt <- fread("myFile.csv")
在 OP 的情况下，使用 read.csv 及时读取一个 1.2GB 的文件大约需要 4-5 分钟，使用 fread 仅需 14 秒。
2021 年 1 月 29 日更新： 看来 fread() 现在根据软件包创建者的 Tweet 并行工作。