Requests 的 Scrapy 堆栈溢出

Question

我有以下 while 循环来废弃页面

def after_login(self, response):
    i=100000
    while (i<2000000): 
       yield scrapy.Request("https://www.example.com/foobar.php?nr="+str(i),callback=self.another_login)
       i+=1

问题是进程由于堆栈溢出而被杀死。 有没有办法告诉 while 循环对 1000 个请求进行排队，并在这些请求完成后对另外 1000 个请求进行排队？

Answer 1

你应该尝试一下 Scrapy 设置。例如，尝试减少 CONCURRENT_REQUESTS, adding DOWNLOAD_DELAY.

如果这没有帮助，请查看 debugging the memory usage，另请参阅：

• Debugging memory leaks