在 Scrapy 上爬取多个链接

Question

我试图首先通过本网站的主页抓取 link 到每年的 table。然后我想抓取每个站点，同时保持每年的记录。

到目前为止，我的蜘蛛构造为：

div = response.xpath('//*[@id="sidebar"]/div[1]/nav/ul/li[5]/div')
    
hrefs = div.xpath('*//a').extract()
splits = {}
    
for href in hrefs:
    split = href.split('"')
    link = split[1]
    date = split[2]
    clean_date = "".join(re.findall("[^><a/]",date))
    clean_link = "http://www.ylioppilastutkinto.fi" + str(link)
    splits[clean_date] = clean_link

然后我想遍历此文件中的每个 link 并使用以下逻辑抓取它们：

table = resp.xpath('//*[@id="content"]/table/tbody')
rows = table.xpath('//tr')
        
data_dict = {"Category": 
            [w3lib.html.remove_tags(num.get()) for num in rows[0].xpath('td')[1:]]
            }

for row in rows[1:]:
    data = row.xpath('td')
    title = w3lib.html.remove_tags(data[0].get())
    nums = [w3lib.html.remove_tags(num.get()) for num in data[1:]]
    data_dict[title] = nums

我的问题是我找不到有效执行此操作的方法。在 url returns 上调用 scrapy.Request 一个只有内容 <html></html> 的响应。如果有一种方法可以使响应对象类似于 Scrapy shell 中 fetch 命令给出的对象，那将是理想的，因为我已经将选择逻辑建立在使用该命令进行测试的基础上。

编辑：

这是到目前为止的整个蜘蛛

想法是运行第一个 for 循环获取 link，然后第二个 for 循环从所述 link 中提取 table。

import scrapy
import regex as re
from scrapy.http import HtmlResponse
import w3lib.html

class MainSpider(scrapy.Spider):
    name = 'links'
    allowed_domains = ['www.ylioppilastutkinto.fi/ylioppilastutkinto/pisterajat']
    start_urls = ['https://www.ylioppilastutkinto.fi/ylioppilastutkinto/pisterajat/']

    def parse(self, response):
        div = response.xpath('//*[@id="sidebar"]/div[1]/nav/ul/li[5]/div')
        
        hrefs = div.xpath('*//a').extract()
        splits = {}
        
        for href in hrefs:
            split = href.split('"')
            link = split[1]
            date = split[2]
            clean_date = "".join(re.findall("[^><a/]",date))
            clean_link = "http://www.ylioppilastutkinto.fi" + str(link)
            splits[clean_date] = clean_link

        
        for date,url in splits.items():
            resp = HtmlResponse(url)
            
            table = resp.xpath('//*[@id="content"]/table/tbody')
            rows = table.xpath('//tr')
        
            data_dict = {"Category":[w3lib.html.remove_tags(num.get()) for num in rows[0].xpath('td')[1:]]}

            for row in rows[1:]:
                data = row.xpath('td')
                title = w3lib.html.remove_tags(data[0].get())
                nums = [w3lib.html.remove_tags(num.get()) for num in data[1:]]
                data_dict[title] = nums
                
        
                yield {
                    'Date': date,
                    'Scores': data_dict}

Answer 1

初始化 HtmlResponse(url) 不会完成任何事情，因为 class 本身不会发出请求。

添加一个请求到scrapy的调度器，你需要yield一个，eg: yield scrapy.Request(url, callback=self.parse).

也就是说，您可以对蜘蛛进行许多改进。

使用 scrapy 的内置 LinkExtractor 而不是字符串拆分
使用 css 选择器而不是硬编码的 xpaths
使用 selector.root.text 而不是 w3lib.remove_tags（完全删除依赖项）

这是一个工作示例：

import scrapy
from scrapy.linkextractors import LinkExtractor


class MainSpider(scrapy.Spider):
    name = 'links'
    allowed_domains = ['www.ylioppilastutkinto.fi']
    start_urls = ['https://www.ylioppilastutkinto.fi/ylioppilastutkinto/pisterajat/']

    def parse(self, response):
        le = LinkExtractor(
            allow_domains=self.allowed_domains,
            restrict_xpaths='//*[@id="sidebar"]/div[1]/nav/ul/li[5]/div',
        )
        for link in le.extract_links(response):
            yield scrapy.Request(
                url=link.url,
                callback=self.parse_table,
                cb_kwargs={ 'date': link.text },
            )

    def parse_table(self, response, date):
        rows = response.css('#content table tbody tr')
        if not rows:
            print(f'No table found for url: {response.url}')
            return

        category = [char.root.text for char in rows[0].css('td strong')[1:]]
        if not category:
            category = [char.root.text for char in rows[0].css('td')[1:]]

        for row in rows[1:]:
            cols = row.css('td')
            title = cols[0].root.text
            nums = [col.root.text for col in cols[1:]]
            yield {
                'Date': date,
                'Category': category,
                title: nums
            }

请注意您的类别解析似乎不起作用。我不太确定你要提取什么，所以我会把那个留给你。

在 Scrapy 上爬取多个链接

Crawling through multiple links on Scrapy

html

python

xpath

scrapy

web-scraping