Scrapy CrawlerRunner:缺少输出
Scrapy CrawlerRunner: Output missing
我一直在使用 Whosebug () 中描述的方法,使用 Crawler Runner 从脚本中制作 scrapy 运行 以允许重新启动进程。
但是,当运行通过 CrawlerRunner 启动进程时,我没有收到任何控制台日志,而当我使用 CrawlerProcess 时,它会输出状态和进度。
在线提供代码:https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ
使用 CrawlerRunner
您需要手动设置日志记录,您可以使用 configure_logging()
来完成。参见 https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script
我一直在使用 Whosebug (
但是,当运行通过 CrawlerRunner 启动进程时,我没有收到任何控制台日志,而当我使用 CrawlerProcess 时,它会输出状态和进度。
在线提供代码:https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ
使用 CrawlerRunner
您需要手动设置日志记录,您可以使用 configure_logging()
来完成。参见 https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script