Scrapy - 重复过滤和下载延迟
Scrapy - Duplicates filtering and download delays
我想知道，当在设置中指定 DOWNLOAD_DELAY 时，Scrapy 如何处理重复项。例如，如果我添加一个 5 秒的 DOWNLOAD_DELAY，Scrapy 将在每个请求之间等待 5 秒。但是，如果 Scrapy 面临一个应该被忽略的重复请求，Scrapy 是否会在下一个请求之前等待 5 秒？
是的，scrapy 等待 5 秒等待下一个请求。如果你设置 duplicate_filter=True 那么它会在调用下一个请求后等待 5 秒。无论 req 是否重复或不是 scrapy 如果你是重复过滤器，总是等待接下来的 5 秒。
我想知道，当在设置中指定 DOWNLOAD_DELAY 时，Scrapy 如何处理重复项。例如，如果我添加一个 5 秒的 DOWNLOAD_DELAY，Scrapy 将在每个请求之间等待 5 秒。但是，如果 Scrapy 面临一个应该被忽略的重复请求，Scrapy 是否会在下一个请求之前等待 5 秒？
是的，scrapy 等待 5 秒等待下一个请求。如果你设置 duplicate_filter=True 那么它会在调用下一个请求后等待 5 秒。无论 req 是否重复或不是 scrapy 如果你是重复过滤器，总是等待接下来的 5 秒。