Scrapy 站点在加载后重定向到 404
Scrapy site redirects to 404 after loading
我正在尝试抓取一个时尚网站，但是，当我尝试呈现我想从 scrapy shell 抓取的页面时，我会看到它首先加载页面然后将其重定向到 404页。
这是我运行
的命令
scrapy shell -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' 'http://www.asos.com/search/circle%20skirt?currentpricerange=10-95&q=circle%20skirt&refine=attribute_900:1573'
我也尝试添加 headers 和 cookie，但似乎没有任何效果，页面一直重定向到 404。我该怎么办？
得到解决方案，正如 furas 评论的那样，response.body 拥有我需要的所有东西，视图（响应）不起作用的唯一原因是该站点需要加载 JS 内容并导致 404 .感谢furas的帮助
我正在尝试抓取一个时尚网站，但是，当我尝试呈现我想从 scrapy shell 抓取的页面时，我会看到它首先加载页面然后将其重定向到 404页。 这是我运行
的命令scrapy shell -s USER_AGENT='Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' 'http://www.asos.com/search/circle%20skirt?currentpricerange=10-95&q=circle%20skirt&refine=attribute_900:1573'
我也尝试添加 headers 和 cookie，但似乎没有任何效果，页面一直重定向到 404。我该怎么办？
得到解决方案，正如 furas 评论的那样，response.body 拥有我需要的所有东西，视图（响应）不起作用的唯一原因是该站点需要加载 JS 内容并导致 404 .感谢furas的帮助