Scrapy：如果网站被阻止爬取如何处理
Scrapy: How to handle if a website is blocked from crawling
我正在使用 Scrapy 抓取网站，但出现 404 错误。我认为该网站已被阻止抓取。我如何设法绕过它？这是我要抓取的网站https://tiki.vn/
这是我得到的结果
我的问题是我发送的请求被网站拒绝，因为它是一个机器人请求。我只需要在请求中添加自定义 header 问题就解决了
我正在使用 Scrapy 抓取网站，但出现 404 错误。我认为该网站已被阻止抓取。我如何设法绕过它？这是我要抓取的网站https://tiki.vn/
这是我得到的结果
我的问题是我发送的请求被网站拒绝，因为它是一个机器人请求。我只需要在请求中添加自定义 header 问题就解决了