下载完整 html

Question

我正在尝试使用 R 抓取一些网站。但是，由于未知原因，我无法从该网站获取所有信息。我通过首先下载完整的网页（从浏览器另存为）找到了解决方法。我想知道是否会使用某些功能下载完整的网站。我试过 "download.file" 和 "htmlParse" 但他们似乎只下载源代码。

url = "http://www.tripadvisor.com/Hotel_Review-g2216639-d2215212-Reviews-Ayurveda_Kuren_Maho-Yapahuwa_North_Western_Province.html"

download.file(url , "webpage")
doc <- htmlParse(urll)
ratings = as.data.frame(xpathSApply(doc,'//div[@class="rating reviewItemInline"]/span//@alt'))

Answer 1

这首先与 rvest 一起使用。

llply(html(url) %>% html_nodes('div.rating.reviewItemInline'),function(i)
data.frame(nth_stars = html_nodes(i,'img') %>% html_attr('alt'),
date_var = html_text(i)%>%stri_replace_all_regex('(\n|Reviewed)','')))

下载完整 html

Downloading a complete html

r

html-parsing