使用 Python 抓取基于 Javascript 的网站

Question

我正在尝试从这里删除数据（使用 python 2.7）：

http://financials.morningstar.com/valuation/earnings-estimates.html?t=AMD

当我在 Chrome 浏览器中右键单击并选择 "View Page Sources" 时，我要查找的内容并不存在。例如，我正在寻找 "Average Rating"。

我搜索了 Whosebug 并看到了这个问答： Python 3, Web-scraping, and Javascript [Oh My] 但是当我尝试主要答案时，我找不到任何 XMLHttpRequest 函数。

感谢您对此提供的任何帮助。

Answer 1

看来你要的数据是从

中拉取的

http://financials.morningstar.com/valuation/annual-estimate-list.action?&t=XNAS:AMD&region=usa&culture=en-US&cur=&r=1425167484279.9668&_=1425167484280
http://financials.morningstar.com/valuation/analyst-opinion-list.action?&t=XNAS:AMD&region=usa&culture=en-US&cur=&r=1425167484282.3906&_=1425167484282
http://financials.morningstar.com/valuation/forward-comparisons-list.action?&t=XNAS:AMD&region=usa&culture=en-US&cur=&r=1425167484284.5396&_=1425167484284

您应该可以直接抓取这些网址。

使用 Python 抓取基于 Javascript 的网站

Scraping Javascript based websites with Python

python

web-scraping

python-2.7