使用 Scrapy shell 启用 select 元素

Question

我正在尝试使用 scrapy 打印出该网站所有产品的标题 shell: 'https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas'

打开后我开始抓取：

fetch('https://www.woolworths.com.au/shop/browse/drinks/cordials-juices-iced-teas/iced-teas')

然后我尝试打印出每个产品的标题，结果没有选择任何内容：

>>> response.css('.shelfProductTile-descriptionLink::text')
output:  []

也尝试过：

>>> response.css('a')
output:  []

我该怎么办？谢谢

Answer 1

您的代码是正确的。发生的情况是，scrapy 检索到的 HTML 中没有 a 元素。当您使用浏览器访问该页面时，产品列表会在浏览器端填充 javascript。它们不在 HTML 代码中。

In the doc 您会发现预渲染技术 javascript。也许你应该试试看。