通过 rvest 提取内容的 R 网络抓取问题

Question

我正在尝试从 https://careers.microsoft.com/us/en/search-results 中提取内容并从页面中获取标题、信息等

urlString <- "https://careers.microsoft.com/us/en/search-results?"
getHTML <- xml2::read_html(urlString)
t2 <- getHTML %>% html_text() %>% stringr::str_sub(start = 8027, end = 65679)
jsonWeb <- jsonlite::fromJSON(t2)
df <- jsonWeb$data$jobs

有没有更优雅的方法呢？就像提取 phApp.ddo 的 json {} 非常感谢

Answer 1

通过网络抓取这样的网站不可能获得可靠的结果，因为您无法控制您抓取的内容。然而，通过子字符串索引来做是一场灾难，因为几乎任何动态内容的变化都会破坏你的代码（事实上，你的代码对我不起作用，因为我得到的 json 字符串稍微短一些，所以我得到了无法解析的尾随垃圾）。

一个更强大的解决方案（尽管请参阅下面的警告）是在 json 字符串的开头和结尾找到有用的分隔符，您可以使用它来删除不需要的部分。

urlString <- "https://careers.microsoft.com/us/en/search-results?"
getHTML <- xml2::read_html(urlString)

json <- jsonlite::fromJSON(strsplit(strsplit(html_text(getHTML), 
        "phApp\.ddo = ")[[1]][2], "; phApp")[[1]][1])
  
json$eagerLoadRefineSearch$data$jobs

#> # A tibble: 50 x 27
#>    country subCategory industry title multi_location type  orgFunction
#>    <chr>   <chr>       <lgl>    <chr> <list>         <lgl> <lgl>      
#>  1 United~ Software E~ NA       Prin~ <chr [1]>      NA    NA         
#>  2 United~ Art         NA       Lead~ <chr [1]>      NA    NA         
#>  3 India   Support En~ NA       Supp~ <chr [1]>      NA    NA         
#>  4 Romania Support En~ NA       Micr~ <chr [2]>      NA    NA         
#>  5 China   Solution S~ NA       Seni~ <chr [1]>      NA    NA         
#>  6 United~ Software E~ NA       Soft~ <chr [1]>      NA    NA         
#>  7 India   Support En~ NA       Supp~ <chr [1]>      NA    NA         
#>  8 United~ Software E~ NA       Seni~ <chr [1]>      NA    NA         
#>  9 Japan   Marketing ~ NA       Full~ <chr [1]>      NA    NA         
#> 10 United~ Software E~ NA       Seni~ <chr [1]>      NA    NA         
#> # ... with 40 more rows, and 20 more variables: experience <chr>,
#> #   locale <chr>, multi_location_array <list>, jobSeqNo <chr>,
#> #   postedDate <chr>, searchresults_display <lgl>,
#> #   descriptionTeaser <chr>, dateCreated <chr>, state <chr>,
#> #   targetLevel <chr>, jd_display <lgl>, reqId <lgl>, badge <chr>,
#> #   jobId <chr>, isMultiLocation <lgl>, jobVisibility <list>,
#> #   mostpopular <dbl>, location <chr>, category <chr>,
#> #   locationLatlong <lgl>

我同意如果你可以只请求 json 会更好，但在这种情况下页面是构建 server-side，所以没有独立的 xhr 请求到 API ] 交付 json，因此您需要从提供的 HTML 中剔除 json。正则表达式对此并不理想，但它比剪切固定长度的字符串要好得多。

Answer 2

使用V8包在页面上运行JS脚本获取phApp对象：

library(rvest)
library(V8)
pg <- read_html("https://careers.microsoft.com/us/en/search-results")
scripts <- pg %>% html_nodes(xpath = "//script[contains(.,'phApp')]") %>% html_text()
ct <- v8()
ct$eval("var phApp = {}")
for (js in scripts) ct$eval(js)
data <- ct$get("phApp")
jobs <- data$ddo$eagerLoadRefineSearch$data$jobs

通过 rvest 提取内容的 R 网络抓取问题

R web scraping issue on extracting content through rvest

json

r

web-scraping

rvest