Scrapinghub 作业失败 - 无法诊断
Scrapinghub job failed - can't diagnose
蜘蛛在爬行中途停止（7 小时后 运行，20K 请求）。作业状态为 "failure"。即使日志中没有 ERROR 消息。日志看起来像是代码刚刚在特定代码行范围内停止 运行ning，没有报告任何错误。它发生在 spider_idle 方法覆盖中。日志已启用，我可以看到所有前面的 INFO 消息表明蜘蛛正常 运行。我不知道如何在 scrapinghub 日志中启用 DEBUG 消息。
检查内存消耗 - 它是稳定的，至少在短期测试中是这样，现在等待长期 运行 结果。
如何在作业 "failed" 后检索更多信息？
免费帐户的作业会在 24 小时内自动停止。状态为 "cancelled"，在这种情况下，日志通常显示 SIGTERM。
蜘蛛在爬行中途停止（7 小时后 运行，20K 请求）。作业状态为 "failure"。即使日志中没有 ERROR 消息。日志看起来像是代码刚刚在特定代码行范围内停止 运行ning，没有报告任何错误。它发生在 spider_idle 方法覆盖中。日志已启用，我可以看到所有前面的 INFO 消息表明蜘蛛正常 运行。我不知道如何在 scrapinghub 日志中启用 DEBUG 消息。
检查内存消耗 - 它是稳定的，至少在短期测试中是这样，现在等待长期 运行 结果。
如何在作业 "failed" 后检索更多信息？
免费帐户的作业会在 24 小时内自动停止。状态为 "cancelled"，在这种情况下，日志通常显示 SIGTERM。