使用 Scrapy CrawlerRunner 轮换 IP 和用户代理
Rotating IPs and user agents using Scrapy CrawlerRunner
我还没有将我的蜘蛛设置为 Scrapy 项目，所以没有 settings.py 文件进行设置。但是我还是想实现尽可能多的方法，避免成为blocked/blacklisted。有没有什么办法可以在 Scrapy 项目之外并且只在 CrawlerRunner 函数中添加这些旋转和设置？？？
谢谢！
如果有人想知道，使用 CrawlerRunner 函数时没有办法做到这一点。我只需要建立一个 Scrapy 项目，它最终并没有我想象的那么难。网上有很多信息和“hello world”教程。
祝你好运！
我还没有将我的蜘蛛设置为 Scrapy 项目，所以没有 settings.py 文件进行设置。但是我还是想实现尽可能多的方法，避免成为blocked/blacklisted。有没有什么办法可以在 Scrapy 项目之外并且只在 CrawlerRunner 函数中添加这些旋转和设置？？？
谢谢！
如果有人想知道，使用 CrawlerRunner 函数时没有办法做到这一点。我只需要建立一个 Scrapy 项目，它最终并没有我想象的那么难。网上有很多信息和“hello world”教程。
祝你好运！