需要帮助使用祖先从 Scrapy 列表中抓取项目

Question

我正在尝试抓取联系人、位置、Phone 和费率等详细信息。 html 如下。该列表是一个动态列表，因此有时页面上可能只会显示联系人和位置等少数项目，而有时会显示所有项目。我在想我可以使用图标标签来获取所需的文本，但找不到任何相关文档。任何帮助将不胜感激。提前致谢。

        <div class="detail-all-label">
        <i class="abc-Contact"></i>
        <div class="detail-all-text"><b>Contact</b>: Ram Bahadur</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Location"></i>
    <div class="detail-all-text"><b>Location</b>: Kathmandu</div>
    </div>
<div class="detail-all-label">
    <i class="abc-font abc-Website"></i>
    <div class="detail-all-text"><b>Website</b>: itworkremotely</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Phone"></i>
    <div class="detail-all-text"><b>Phone</b>: 3283550121</div>
    </div>
            <div class="detail-all-label">
    <i class="abc-font abc-Rate"></i>
    <div class="detail-all-text"><b>Rate</b>: €700 - 10000</div>
    </div>

Answer 1

您可以使用 class="detail-all-text":

获取 div 中具有前置 b 元素的所有详细值

for detail in response.xpath("//div[@class='detail-all-text']/b"):
    name = detail.xpath("text()").extract()[0]
    value = detail.xpath("following-sibling::text()")[0]

    print name, value

需要帮助使用祖先从 Scrapy 列表中抓取项目

Need help scraping items from a list with Scrapy using ancestor

python

scrapy

web-scraping

python-2.7