使用 R 抓取网页？

Question

我正在尝试从 here 左侧导航栏下载数据。我尝试了以下方法：

library("rvest")
page <- html("https://experience.arcgis.com/experience/478220a4c454480e823b17327b2bf1d4/page/page_1/")
page %>%
   html_nodes(xpath = '//*[@id="ember39"]/div[2]/nav') %>% html_text()

character(0)

还有 :

page %>%
   html_nodes(xpath = '//*[@id="ember39"]/div[2]/nav') %>% html_table()

list()

如有任何帮助或建议，我将不胜感激。

Answer 1

可以从网络选项卡中找到的端点之一轻松获得数据。它returnsjson。你可以解析出你想要的。

library(jsonlite)
library(magrittr)

data <- jsonlite::read_json('https://services7.arcgis.com/mOBPykOjAyBO2ZKk/arcgis/rest/services/RKI_Landkreisdaten/FeatureServer/0/query?f=json&where=1%3D1&returnGeometry=false&spatialRel=esriSpatialRelIntersects&outFields=*&orderByFields=cases%20desc&resultOffset=0&resultRecordCount=1000&resultType=standard&cacheHint=true') %>%
        .$features

#e.g.
print(data[[1]]$attributes)

使用 R 抓取网页？

Using R to scrape a web page?

html

r

web-scraping

rvest