无法使用 Scrapy 抓取某些链接
Can't scrape some links using Scrapy
我遇到了一个奇怪的错误。我抓不到linkhttps://www.example.com/2/
但是，我可以抓取 link https://www.example.com/922/
P.S. 我没有使用真正的 link 因为我的工作不允许。对不起。
当我尝试使用命令 scrapy view https://www.example.com/2/ 调试它时，它显示了我期望的正确 HTML。当我通过 Chrome 检查器检查 URL 时，它给出了正确的 HTML 但给出了错误 500 状态而不是 200。我在我的蜘蛛中使用 handle_httpstatus_list = [500] 解决了它.
我遇到了一个奇怪的错误。我抓不到linkhttps://www.example.com/2/
但是，我可以抓取 link https://www.example.com/922/
P.S. 我没有使用真正的 link 因为我的工作不允许。对不起。
当我尝试使用命令 scrapy view https://www.example.com/2/ 调试它时，它显示了我期望的正确 HTML。当我通过 Chrome 检查器检查 URL 时，它给出了正确的 HTML 但给出了错误 500 状态而不是 200。我在我的蜘蛛中使用 handle_httpstatus_list = [500] 解决了它.