无法使用 Scrapy 获得响应

Question

我是 scrapy 的新手，我正在尝试从网站获取一个简单的 csv 文件列表名称。在 scrapy shell 中，它似乎可以工作，但使用蜘蛛没有任何反应。

我正在使用此代码：

import scrapy

class EridaniSpider(scrapy.Spider):
name = "jupiter"

start_urls = ["http://www.example.com"]

def parse(self, response):
    for mike in response.css("div.openRounds-block-startupName"):
       yield {"startupname" : mike.css("h2::text")}

请帮忙！

Answer 1

想通了。这是代码：

import scrapy


class QuotesSpider(scrapy.Spider):
name = "jupiter"
start_urls = [
    'http://www.leapfunder.com',
]

def parse(self, response):
    for startup in response.xpath("//*[contains(@class, 'startupName')]"):
        yield { 
                'title' : startup.xpath("//h2/text()").extract(),
        }

无法使用 Scrapy 获得响应

Can't get response using Scrapy

python

web-scraping

scrapy-spider