scrapy 附加到 linkextractor 链接
scrapy append to linkextractor links
我正在使用 CrawlSpider 和 LinkExtractor 来抓取 link。
我如何将参数附加到 link 的 LinkExtractor 发现？我想将 '?pag_sortorder=0&pag_perPage=999' 添加到 LinkExtractor 提取的每个 link。
这是使用 process_value argument:
的完美用例
from scrapy.contrib.linkextractors import LinkExtractor
addition = "?pag_sortorder=0&pag_perPage=999"
LinkExtractor(process_value=lambda x: x + addition)
我正在使用 CrawlSpider 和 LinkExtractor 来抓取 link。
我如何将参数附加到 link 的 LinkExtractor 发现？我想将 '?pag_sortorder=0&pag_perPage=999' 添加到 LinkExtractor 提取的每个 link。
这是使用 process_value argument:
from scrapy.contrib.linkextractors import LinkExtractor
addition = "?pag_sortorder=0&pag_perPage=999"
LinkExtractor(process_value=lambda x: x + addition)