使用 R 来 "click" 网页上的下载文件按钮

Question

我正在尝试使用此网页 http://volcano.si.edu/search_eruption.cfm 来抓取数据。有两个下拉框要求过滤数据。我不需要过滤数据，所以我将这些留空并通过单击“Search Eruptions”继续到下一页。

不过，我注意到，生成的 table 与它应该具有的列总数（总共 24 个）相比只包含少量列（仅 5 个）。但是，如果单击“将结果下载到 Excel”按钮并打开下载的文件，所有 24 列都将在那里。这就是我需要的。

所以，看起来这已经从一个抓取练习（使用 httr 和 rvest）变成了更困难的事情。但是，我对如何使用 R 实际“单击”“将结果下载到 Excel”按钮感到困惑。我猜我将不得不使用 RSelenium，但是这是我的代码，尝试将 httr 与 POST 一起使用，以防有任何善良的人可以找到更简单的方法。我也尝试过使用 gdata、data.table、XML 等，但都无济于事，这可能只是用户错误的结果。

此外，了解无法右键单击下载按钮以显示 URL。

可能会有所帮助

url <- "http://volcano.si.edu/database/search_eruption_results.cfm"

searchcriteria <- list(
    eruption_category = "",
    country = ""
)

mydata <- POST(url, body = "searchcriteria")

在我的浏览器中使用检查器，我能够看到两个过滤器是“eruption_category”和“国家/地区”，两者都是空白的，因为我不需要任何过滤数据。

最后，上面的代码似乎会让我进入只有 5 列 table 的页面。但是，我仍然无法在下面的代码中使用 rvest 来抓取这个 table（使用 SelectorGadget 只抓取一列）。最后，这部分并不重要，因为正如我上面所说，我需要所有 24 列，而不仅仅是这 5 列。但是，如果您发现我在下面所做的任何错误，我将不胜感激.

Eruptions <- mydata %>%
    read_html() %>%
    html_nodes(".td8") %>%
    html_text()
Eruptions

感谢您提供的任何帮助。

Answer 1

只需模仿它所做的 POST：

library(httr)
library(rvest)
library(purrr)
library(dplyr)

POST("http://volcano.si.edu/search_eruption_results.cfm",
     body = list(bp = "", `eruption_category[]` = "", `country[]` = "", polygon = "",  cp = "1"),
     encode = "form") -> res

content(res, as="parsed") %>%
  html_nodes("div.DivTableSearch") %>%
  html_nodes("div.tr") %>%
  map(html_children) %>%
  map(html_text) %>%
  map(as.list) %>%
  map_df(setNames, c("volcano_name", "subregion", "eruption_type",
                     "start_date", "max_vei", "X1")) %>%
  select(-X1)
## # A tibble: 750 × 5
##    volcano_name            subregion      eruption_type  start_date
##           <chr>                <chr>              <chr>       <chr>
## 1   Chirinkotan        Kuril Islands Confirmed Eruption 2016 Nov 29
## 2   Zhupanovsky  Kamchatka Peninsula Confirmed Eruption 2016 Nov 20
## 3       Kerinci              Sumatra Confirmed Eruption 2016 Nov 15
## 4       Langila          New Britain Confirmed Eruption  2016 Nov 3
## 5     Cleveland     Aleutian Islands Confirmed Eruption 2016 Oct 24
## 6         Ebeko        Kuril Islands Confirmed Eruption 2016 Oct 20
## 7        Ulawun          New Britain Confirmed Eruption 2016 Oct 11
## 8      Karymsky  Kamchatka Peninsula Confirmed Eruption  2016 Oct 5
## 9        Ubinas                 Peru Confirmed Eruption  2016 Oct 2
## 10      Rinjani Lesser Sunda Islands Confirmed Eruption 2016 Sep 27
## # ... with 740 more rows, and 1 more variables: max_vei <chr>

我假设可以推断出 "Excel" 部分，但如果不是：

POST("http://volcano.si.edu/search_eruption_excel.cfm", 
     body = list(`eruption_category[]` = "", 
                 `country[]` = ""), 
     encode = "form",
     write_disk("eruptions.xls")) -> res

使用 R 来 "click" 网页上的下载文件按钮

Using R to "click" a download file button on a webpage

post

r

httr

rselenium