如何从 POPUP 中提取文本 window

Question

我正在使用 Python Scrapy 来解析 tripadvisor 上的一些餐馆。单击“查看所有详细信息”按钮并包含相关信息时，将激活一个弹出窗口 window。流量分析表明点击时没有调用任何内容。但是，如果我在网页中搜索 window 内的文本，我可以找到一个元素（请参见下面的屏幕截图），但我不知道如何处理它以及如何提取文本。

P.s。我已经设法用 selenium 获得了 window 的内容，但我真的只想用 Scrapy 来做。

在此先感谢您的帮助！一个 link 例如 Link

Answer 1

从这个问题得到了解决方案：Question link

下面是将 scrapy 的响应转换为 json

的代码示例

    # get html text
    resp_text = response.text

    # Html to json
    data = re.search(r'window\.__WEB_CONTEXT__=(.*?});', resp_text).group(1)
    data = data.replace('pageManifest', '"pageManifest"')
    data = json.loads(data)

如何从 POPUP 中提取文本 window

How to extract text from POPUP window

python

scrapy

web-scraping