Scrapy 如何更新图像 URL 如果当前图像 url returns 404
Scrapy how to update image URL if current image url returns 404
我需要更改图像 link 以防当前图像 URLS return 404 代码
我通过扩展 FilesPipeline 实现了自己的管道。
我原以为方法 media_failed 会在我们收到 404 代码时被调用，但它并没有发生。
在方法 item_completed 中，我看到失败 URL 的 results 包含以下信息
：（错误，）
在这种情况下，我必须更新原始图像 link 并重新尝试下载
我在日志中看到以下信息：
[scrapy.pipelines.files] WARNING: File (code: 404): Error downloading file from <GET https://any_dummy_link.jpg> referred in <None>
请求图像 URL。如果 response.status 是 404 你可以用不同的方式处理它。
我需要更改图像 link 以防当前图像 URLS return 404 代码 我通过扩展 FilesPipeline 实现了自己的管道。
我原以为方法 media_failed 会在我们收到 404 代码时被调用，但它并没有发生。
在方法 item_completed 中，我看到失败 URL 的 results 包含以下信息
在这种情况下，我必须更新原始图像 link 并重新尝试下载
我在日志中看到以下信息：
[scrapy.pipelines.files] WARNING: File (code: 404): Error downloading file from <GET https://any_dummy_link.jpg> referred in <None>
请求图像 URL。如果 response.status 是 404 你可以用不同的方式处理它。