使用网页触发scrapy shell

Trigger scrapy shell using web page

我是 scrapy 和 python 的新手。我写了一个蜘蛛,它从命令行获取 start_urls 并开始抓取。至此,一切正常。

现在,我想从网页(使用 Flask 设计)提交 start_urls。点击按钮后,它应该触发 scrapy shell 并开始抓取网站。

这就是 scrapyd 项目可以提供的帮助。有一个 JSON API 可以用来部署和 运行 你的蜘蛛。这样您的 Web 应用程序部件就不会被活动的网络抓取过程阻止:

Scrapyd is an application for deploying and running Scrapy spiders. It enables you to deploy (upload) your projects and control their spiders using a JSON API.