Python Scrapy 循环遍历相同的 URL
Python Scrapy Loop Through The Same Urls
我正在尝试使用 scrapy 浏览几个不同的网址，但问题是我不想浏览一次。我希望能够“永远”循环访问相同的网址。下面的代码是我目前所拥有的，但它不起作用，我也不知道为什么。
while True:
looptime = time.time() + 900
while time.time() < looptime:
for word in words:
url = 'https://myurl.com
yield scrapy.Request(url=url, callback=self.parse)
dosomething()
假设我有 2 个链接，一个指向 google，一个指向 youtube。目前，我的代码只会通过它们一次然后完成脚本，但期望的结果是一直循环通过相同的 2 个链接。所以它会通过 Google，然后是 Youtube，Google，Youtube 等等。
谢谢！
在请求中添加dont_filter=True以防止scrapy过滤重复请求。
我正在尝试使用 scrapy 浏览几个不同的网址，但问题是我不想浏览一次。我希望能够“永远”循环访问相同的网址。下面的代码是我目前所拥有的，但它不起作用，我也不知道为什么。
while True:
looptime = time.time() + 900
while time.time() < looptime:
for word in words:
url = 'https://myurl.com
yield scrapy.Request(url=url, callback=self.parse)
dosomething()
假设我有 2 个链接，一个指向 google，一个指向 youtube。目前，我的代码只会通过它们一次然后完成脚本，但期望的结果是一直循环通过相同的 2 个链接。所以它会通过 Google，然后是 Youtube，Google，Youtube 等等。 谢谢！
在请求中添加dont_filter=True以防止scrapy过滤重复请求。