如何让Scrapy爬虫立即停止执行？
How to stop Scrapy crawler from executing immediately?
我正在使用 Scrapy 框架来抓取一些网站。我想在我决定标记后立即停止爬行。在我的管道中，我这样停止爬虫：
spider.crawler.engine.close_spider(self, reason='My reason')
它在我想要的时候停止，但它不会停止执行代码，直到它在连接池中剩余的 url 上发送请求，而我不希望这样。我怎样才能立即停止它，有没有办法从连接池中清除 urls？
提前致谢。
根据 scrapy docs close_spider 停止调度新请求并且不会立即停止抓取过程。在你的情况下 close_spider 完全按照记录工作。
我知道立即停止抓取的唯一方法是像这样使用 os.exit .
我正在使用 Scrapy 框架来抓取一些网站。我想在我决定标记后立即停止爬行。在我的管道中，我这样停止爬虫：
spider.crawler.engine.close_spider(self, reason='My reason')
它在我想要的时候停止，但它不会停止执行代码，直到它在连接池中剩余的 url 上发送请求，而我不希望这样。我怎样才能立即停止它，有没有办法从连接池中清除 urls？
提前致谢。
根据 scrapy docs
close_spider停止调度新请求并且不会立即停止抓取过程。在你的情况下 close_spider 完全按照记录工作。我知道立即停止抓取的唯一方法是像这样使用
os.exit