Scrapy 查看 returns 空白页
Scrapy view returns a blank page
我是 Scrapy 的新手，我只是想抓取 http://www.diseasesdatabase.com/
当我键入 scrapy view http://www.diseasesdatabase.com/ 时，它会显示一个空白页面，但如果我下载该页面并在本地文件上进行操作，它会照常显示。为什么会这样？
假装是一个真正的浏览器，提供 User-Agent header:
scrapy view http://www.diseasesdatabase.com/ -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36"
对我有用。
请注意，此处的 -s 选项有助于覆盖 built-in USER_AGENT setting。
我是 Scrapy 的新手，我只是想抓取 http://www.diseasesdatabase.com/
当我键入 scrapy view http://www.diseasesdatabase.com/ 时，它会显示一个空白页面，但如果我下载该页面并在本地文件上进行操作，它会照常显示。为什么会这样？
假装是一个真正的浏览器，提供 User-Agent header:
scrapy view http://www.diseasesdatabase.com/ -s USER_AGENT="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/43.0.2357.130 Safari/537.36"
对我有用。
请注意，此处的 -s 选项有助于覆盖 built-in USER_AGENT setting。