Scrapy跳过一种方法

Question

我正在抓取本地 page_source 文件。 Scrapy 完全跳过了 parse_nextfile() 函数。它非常适合 parse() 函数。不知道为什么会这样？

from scrapy import Spider
from scrapy.loader import ItemLoader
from linkedin.items import LinkedinItem
import glob, os

class ProfilesSpider(Spider):

    name = 'profiles'
    allowed_domains = ["file://127.0.0.1"]
    start_urls = ["file://127.0.0.1/path/to/file/text.txt"]

    def parse_nextfile(self,response):

       #retrieve local files directory
       request(url, callback = self.parse)

    def parse(self, response):
       #scraping the page_source file

Answer 1

parse是任何Scrapy请求的默认回调。

如果您需要其他方法来解析请求，您需要在请求中指定 callback=self.parse_nextfile

Scrapy跳过一种方法

Scrapy skip one method

python

scrapy-spider