无法使用 scrappy 从网站上抓取文本
unable Scrape text from website using scrappy
我是新来的,我正在尝试从这个 link https://www.onthemarket.com/details/10405122/ 中抓取最近的车站和距离列表,我已经被困在这里一天了。如有任何帮助,我们将不胜感激。
我试过了
response.xpath('//div[@class = "tab-content"]/span')
response.xpath('//section//span[@class="poi-name"]')
response.xpath('//section[@class="poi"]/div//text()').extract()
似乎没有任何效果。
如果你能得到它,请解释我失败的原因,我们将不胜感激。
数据不在下载的html:
<ol class="tab-list"></ol><div class="tab-content"></div>
它可能在另一个调用中接收到数据。尽量不要着急写爬虫,花一些时间来了解这个特定的 UI 是如何工作的。我还建议通过 curl
或 scrapy shell "your_url"
下载数据(因为在这种情况下,它不会被浏览器下载,浏览器呈现页面并可以像现在一样欺骗你)。
我是新来的,我正在尝试从这个 link https://www.onthemarket.com/details/10405122/ 中抓取最近的车站和距离列表,我已经被困在这里一天了。如有任何帮助,我们将不胜感激。
我试过了
response.xpath('//div[@class = "tab-content"]/span')
response.xpath('//section//span[@class="poi-name"]')
response.xpath('//section[@class="poi"]/div//text()').extract()
似乎没有任何效果。
如果你能得到它,请解释我失败的原因,我们将不胜感激。
数据不在下载的html:
<ol class="tab-list"></ol><div class="tab-content"></div>
它可能在另一个调用中接收到数据。尽量不要着急写爬虫,花一些时间来了解这个特定的 UI 是如何工作的。我还建议通过 curl
或 scrapy shell "your_url"
下载数据(因为在这种情况下,它不会被浏览器下载,浏览器呈现页面并可以像现在一样欺骗你)。