Scrapy CrawlerRunner:缺少输出

Scrapy CrawlerRunner: Output missing

我一直在使用 Whosebug () 中描述的方法,使用 Crawler Runner 从脚本中制作 scrapy 运行 以允许重新启动进程。

但是,当运行通过 CrawlerRunner 启动进程时,我没有收到任何控制台日志,而当我使用 CrawlerProcess 时,它会输出状态和进度。

在线提供代码:https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ

使用 CrawlerRunner 您需要手动设置日志记录,您可以使用 configure_logging() 来完成。参见 https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script