Scrapy - 使用代理中间件但对特定请求禁用代理
Scrapy - Use proxy middleware but disable proxy for specific requests
我想在我的 Scrapy 中使用代理中间件，但不是每个请求都需要代理。我不想滥用代理使用并使代理容易被禁止。
在代理中间件打开的情况下，有没有办法让我在某些请求中禁用代理？
它在 docs 中。
您可以将每个请求的元键 proxy 设置为类似 http://some_proxy_server:port.
的值
我们可以添加 dont_proxy 元数据并在请求中将其设置为 true
yield scrapy.Request(
url,
meta={"dont_proxy": True},
callback=self.parse
)
我想在我的 Scrapy 中使用代理中间件，但不是每个请求都需要代理。我不想滥用代理使用并使代理容易被禁止。
在代理中间件打开的情况下，有没有办法让我在某些请求中禁用代理？
它在 docs 中。
您可以将每个请求的元键 proxy 设置为类似 http://some_proxy_server:port.
我们可以添加 dont_proxy 元数据并在请求中将其设置为 true
yield scrapy.Request(
url,
meta={"dont_proxy": True},
callback=self.parse
)