xpath 提取 URL - Scrapy

Question

我正在尝试抓取以下网站：https://bionetz.ch/adressen/detailhandel/bio-fachgeschaefte.html

在我的抓取工具的末尾，我想集成一个自动转到下一页的 for 循环。

当然，我知道有一个 "show all-button" 用于我的解决方案。但是，在浏览该网站时，我无法从网站中提取 href-tag。

我需要的href-标签应该在下面"li"

<a title="Weiter" href="/adressen/detailhandel/bio-fachgeschaefte/page2.html" class="pagenav"><span class="fa fa-angle-right"></span></a>

但是，我没有得到它？提取它的 xpath 是什么？

Answer 1

您可以使用scrapy shell进行调试。 https://docs.scrapy.org/en/latest/topics/debug.html

scrapy shell https://bionetz.ch/adressen/detailhandel/bio-fachgeschaefte.html

然后我们可以提取下一个URL

>>> response.xpath("//a[@title='Weiter']/@href").get()                                         
'/adressen/detailhandel/bio-fachgeschaefte/page2.html'

xpath 提取 URL - Scrapy

xpath extract URL - Scrapy

xpath

web-crawler

scrapy