一旦我的 scrapy 抓取了所有预期的页面，我该如何打印消息？

Question

我正在尝试打印一条简单的消息 -

print("---------------The crawling is now completed..!!----------")

但我从未在控制台上收到此消息。

我不确定scrapy控制流在完成抓取过程后会去哪里。

我正在尝试在我的 spider.py 主文件中打印此消息。如有任何建议，我们将不胜感激。

Answer 1

已解决。 我们可以简单地在 pipelines.py 文件中创建一个新方法：

def close_spider(self,spider):

我们在里面写的任何东西都是在蜘蛛完成爬行后执行的。