通过 SDMX(XML) 从 OECD 获取数据到 R

Question

我想从 OECD 网站中提取数据，特别是数据集 "REGION_ECONOM"，维度为 "GDP"（各个地区的 GDP）和 "POP_AVG"（平均相应地区的人口）。

这是我第一次这样做：我在 OECD 网站上选择了所有需要的维度并复制了 SDMX (XML) link。

我尝试将它们加载到 R 中并使用以下代码将它们转换为数据框：（在 link 中，我用 "ALL" 替换了所有地区的列表，否则 link 将有六页长）

if (!require(rsdmx)) install.packages('rsdmx') + library(rsdmx)

    url2 <- "https://stats.oecd.org/restsdmx/sdmx.ashx/GetData/REGION_ECONOM/1+2.ALL.SNA_2008.GDP+POP_AVG.REAL_PPP.ALL.1990+1991+1992+1993+1994+1995+1996+1997+1998+1999+2000+2001+2002+2003+2004+2005+2006+2007+2008+2009+2010+2011+2012+2013+2014+2015+2016+2017+2018/all?"
    sdmx2 <- readSDMX(url2)
    stats2 <- as.data.frame(sdmx2)
    head(stats2)

不幸的是，这是一个 returns“400 错误请求”错误。

仅选择几个区域时不会出现错误：

if (!require(rsdmx)) install.packages('rsdmx') + library(rsdmx)

    url1 <- "https://stats.oecd.org/restsdmx/sdmx.ashx/GetData/REGION_ECONOM/1+2.AUS+AU1+AU101+AU103+AU104+AU105.SNA_2008.GDP+POP_AVG.REAL_PPP.ALL.1990+1991+1992+1993+1994+1995+1996+1997+1998+1999+2000+2001+2002+2003+2004+2005+2006+2007+2008+2009+2010+2011+2012+2013+2014+2015+2016+2017+2018/all?"
    sdmx1 <- readSDMX(url1)
    stats1 <- as.data.frame(sdmx1)
    head(stats1)

我也试过用"OECD"包来获取数据。在那里我遇到了同样的问题。（“400 错误请求”）

if (!require(OECD)) install.packages('OECD') + library(OECD)

df1<-get_dataset("REGION_ECONOM", filter = "GDP+POP_AVG", 
             start_time = 2008, end_time = 2009, pre_formatted = TRUE)

但是，当我将该包用于其他数据集时，它确实有效：

df <- get_dataset("FTPTC_D", filter = "FRA+USA", pre_formatted = TRUE)

有谁知道我的错误在哪里？

Answer 1

sdmx-ml api 似乎没有像解释的那样工作（使用 all 参数），而 json API 工作得很好。以下查询 returns 所有国家/地区的值和 returns 它们作为 json - 我只是将 All 替换为一个空字段。

query <- https://stats.oecd.org/sdmx-json/data/REGION_ECONOM/1+2..SNA_2008.GDP+POP_AVG.REAL_PPP.ALL.1990+1991+1992+1993+1994+1995+1996+1997+1998+1999+2000+2001+2002+2003+2004+2005+2006+2007+2008+2009+2010+2011+2012+2013+2014+2015+2016+2017+2018/all?

将其转换为可读格式并非易事。我试了一下以找到以下解决方法：

# send a GET request using httr
library(httr)

query <- "https://stats.oecd.org/sdmx-json/data/REGION_ECONOM/1+2..SNA_2008.GDP+POP_AVG.REAL_PPP.ALL.1990+1991+1992+1993+1994+1995+1996+1997+1998+1999+2000+2001+2002+2003+2004+2005+2006+2007+2008+2009+2010+2011+2012+2013+2014+2015+2016+2017+2018/all?"
dat_raw <- GET(query)
dat_parsed <- parse_json(content(dat_raw, "text"))  # parse the content

接下来，访问嵌套列表中的观察结果并将它们转换为矩阵。同样从键中提取特征：

dat_obs <- dat_parsed[["dataSets"]][[1]][["observations"]]
dat0 <- do.call(rbind, dat_obs)  # get a matrix
new_features <- matrix(as.numeric(do.call(rbind, strsplit(rownames(dat0), ":"))), nrow = nrow(dat0))
dat1 <- cbind(new_features, dat0)  # add feature columns
dat1_df <- as.data.frame(dat1)  # optionally transform to data frame

最后你想了解钥匙。那些隐藏在 "structure" 中。这个你也需要正确解析，所以我写了一个函数让你更容易提取值和ids：

## Get keys of features
keys <- dat_parsed[["structure"]][["dimensions"]][["observation"]]
for (i in 1:length(keys)) print(paste("id position:", i, "is feature", keys[[i]]$id))

# apply keys
get_features <- function(data_input, keys_input, feature_index, value = FALSE) {
  keys_temp <- keys_input[[feature_index]]$values
  keys_temp_matrix <- do.call(rbind, keys_temp)
  keys_temp_out <- keys_temp_matrix[, value + 1][unlist(data_input[, feature_index])+1]  # column 1 is id, 2 is value
  return(unlist(keys_temp_out))
}

head(get_features(dat1_df, keys, 7))
head(get_features(dat1_df, keys, 2, value = FALSE))
head(get_features(dat1_df, keys, 2, value = TRUE))

希望对你的项目有所帮助。

最好的，托拜厄斯

通过 SDMX(XML) 从 OECD 获取数据到 R

Fetching data from OECD into R via SDMX(XML)

xml

r

sdmx