有什么办法可以抓取 POST 表单的网站吗？
Is there any way to crawl a website with POST form?
我正在使用 Python 3 并抓取一些网站。
只要是GET形式，我就可以轻松解析link。单击具有 action=POST 的表单后，是否有自动下载生成的 HTML 的解决方法？ （Google先生并没有说出任何有价值的东西...）
谢谢
您可以使用爬虫框架Scrapy。它允许使用 POST 请求进行抓取。虽然Scrapy可以用在Python2（目前为止）
Scrapy文档中有an example on how to scrape using POST requests
如果您的抓取工作很简单，您可以使用 Requests library。它允许 POST 以这种方式调用：
import requests
r = requests.post("http://web-address.com", {'parameter': 'value'})
r.text
我正在使用 Python 3 并抓取一些网站。
只要是GET形式，我就可以轻松解析link。单击具有 action=POST 的表单后，是否有自动下载生成的 HTML 的解决方法？ （Google先生并没有说出任何有价值的东西...）
谢谢
您可以使用爬虫框架Scrapy。它允许使用 POST 请求进行抓取。虽然Scrapy可以用在Python2（目前为止）
Scrapy文档中有an example on how to scrape using POST requests
如果您的抓取工作很简单，您可以使用 Requests library。它允许 POST 以这种方式调用：
import requests
r = requests.post("http://web-address.com", {'parameter': 'value'})
r.text