正在从 URL 下载所有 PDF

Question

我的网站有数百个 PDF。我需要遍历并将每个 PDF 下载到我的本地计算机。我想使用 rvest。尝试次数：

library(rvest)

url <- "https://example.com"

scrape <- url %>% 
  read_html() %>% 
  html_node(".ms-vb2 a") %>%
  download.file(., 'my-local-directory')

如何从 link 抓取每个 PDF？ download.file() 不起作用，我不知道如何获取每个文件。我刚收到这个错误：

Error in doc_parse_raw(x, encoding = encoding, base_url = base_url, as_html = as_html, : xmlParseEntityRef: no name [68]

Answer 1

library(rvest)

url <- "https://example.com"
page<- html_session(url,config(ssl_verifypeer=FALSE))

links<-page %>% html_nodes(".ms-vb2 a") %>% html_attr("href")
subject<-page %>% html_nodes(".ms-vb2:nth-child(3)") %>% html_text()
name<-links<-page %>% html_nodes(".ms-vb2 a") %>% html_text()

for(i in 1:length(links)){
  pdf_page<-html_session(URLencode(paste0("https://example.com",links[i])),config(ssl_verifypeer=FALSE))
  writeBin(paste0(name[i],"-",subject[i],".pdf")
}

URL 是 http，所以必须使用 config(ssl_verifypeer=FALSE)

writeBin 根据需要命名文件。我刚刚将它命名为ok_1.pdf ok_2.pdf 等等

正在从 URL 下载所有 PDF

Downloading all PDFs from URL

r

web-scraping

rvest