从 pipelines.py 中的蜘蛛获取变量

Question

我需要存储中间数据。因此，在 spider 中，我在解析方法中创建了变量并存储了它。

text_from_pdf = pdf_to_text(response.body)

现在我需要在 pipeline.py 中访问这个变量我该怎么做？我试过这个

def open_spider(self, spider):
    self.file = open('items.txt', 'w')

def close_spider(self, spider):
    self.file.close()

def process_item(self, item, spider):
    if spider.text_from_pdf:
        line = json.dumps(**spider.text_from_pdf**) + "\n"
        self.file.write(line)
        return item

但是由于属性错误，它对我不起作用。

Answer 1

将数据添加到项目。

如果最终项目不应该包含 id，您可以使用管道从项目中删除数据。

从 pipelines.py 中的蜘蛛获取变量

Get variables from spider in pipelines.py

scrapy