R - 运行 download.file 多个线程中的脚本
R - Running download.file script in multiple threads
我必须从 Yahoo Finance 下载纽约证券交易所所有股票的纽约证券交易所历史收盘价。这是工作脚本，它需要将近 20 分钟来下载 600 多只股票的数据。我有强大的服务器，想并行下载这些。我该怎么做？
for(val in stocks$V1) {
url <- paste(paste("http://real-chart.finance.yahoo.com/table.csv?s=", val, sep=""), "&a=11&b=12&c=1980&d=9&e=28&f=2015&g=d&ignore=.csv", sep="")
file_name <- paste(paste("/Users/usdgadiraj/Research/BigData/data/nyse/rscript/", val, sep=""), ".csv", sep="")
download.file(url, file_name)
}
使用 foreach 包和 %dopar% 函数。您将需要根据您的 OS 使用特定于系统的并行后端，并从那里注册您的集群。详情请看以下link：
https://cran.r-project.org/web/packages/foreach/vignettes/foreach.pdf
我必须从 Yahoo Finance 下载纽约证券交易所所有股票的纽约证券交易所历史收盘价。这是工作脚本，它需要将近 20 分钟来下载 600 多只股票的数据。我有强大的服务器，想并行下载这些。我该怎么做？
for(val in stocks$V1) {
url <- paste(paste("http://real-chart.finance.yahoo.com/table.csv?s=", val, sep=""), "&a=11&b=12&c=1980&d=9&e=28&f=2015&g=d&ignore=.csv", sep="")
file_name <- paste(paste("/Users/usdgadiraj/Research/BigData/data/nyse/rscript/", val, sep=""), ".csv", sep="")
download.file(url, file_name)
}
使用 foreach 包和 %dopar% 函数。您将需要根据您的 OS 使用特定于系统的并行后端，并从那里注册您的集群。详情请看以下link：
https://cran.r-project.org/web/packages/foreach/vignettes/foreach.pdf