使用网页触发scrapy shell
Trigger scrapy shell using web page
我是 scrapy 和 python 的新手。我写了一个蜘蛛,它从命令行获取 start_urls 并开始抓取。至此,一切正常。
现在,我想从网页(使用 Flask 设计)提交 start_urls。点击按钮后,它应该触发 scrapy shell 并开始抓取网站。
这就是 scrapyd
项目可以提供的帮助。有一个 JSON API 可以用来部署和 运行 你的蜘蛛。这样您的 Web 应用程序部件就不会被活动的网络抓取过程阻止:
Scrapyd is an application for deploying and running Scrapy spiders. It
enables you to deploy (upload) your projects and control their spiders
using a JSON API.
我是 scrapy 和 python 的新手。我写了一个蜘蛛,它从命令行获取 start_urls 并开始抓取。至此,一切正常。
现在,我想从网页(使用 Flask 设计)提交 start_urls。点击按钮后,它应该触发 scrapy shell 并开始抓取网站。
这就是 scrapyd
项目可以提供的帮助。有一个 JSON API 可以用来部署和 运行 你的蜘蛛。这样您的 Web 应用程序部件就不会被活动的网络抓取过程阻止:
Scrapyd is an application for deploying and running Scrapy spiders. It enables you to deploy (upload) your projects and control their spiders using a JSON API.