一个项目中蜘蛛的不同项目管道

Question

我想要一个包含两个蜘蛛的 scrapy 项目。我希望每个人的项目管道配置不同。

任何帮助将不胜感激，我尝试 google 解决方案或任何解决方法。我还没有找到任何有意义的东西。

Answer 1

您可以使用 spider custom settings:

import scrapy
from project.pipelines import Pipeline1, Pipeline2

class Spider1(scrapy.Spider):
    name = 'spider1'
    custom_settings = {
        'ITEM_PIPELINES':{
            Pipeline1: 100
        }
    ...

class Spider2(scrapy.Spider):
    name = 'spider2'
    custom_settings = {
        'ITEM_PIPELINES':{
            Pipeline2: 100
        }
    ...

一个项目中蜘蛛的不同项目管道

Different Item Pipelines for Spiders in One Project

scrapy