Selenium

Question

我正在尝试抓取 google 地图评论，但是当我尝试实现滚动部分时，selenium 抛出错误。

这是我的代码

def __scroll(self):
        scrollable_div = self.driver.find_element_by_css_selector('div.section-layout.section-scrollbox.scrollable-y.scrollable-show')
        self.driver.execute_script('arguments[0].scrollTop = arguments[0].scrollHeight', scrollable_div)

这只是滚动部分，这里 selenium 抛出错误

selenium.common.exceptions.NoSuchElementException: Message: no such element: Unable to locate element: {"method":"css selector","selector":"div.section-layout.section-scrollbox.mapsConsumerUiCommonScrollable__scrollable-y.mapsConsumerUiCommonScrollable__scrollable-show"}
  (Session info: headless chrome=90.0.4430.212)

我尝试了关于 github 的其他建议，但 none 奏效了。有什么想法我可以如何实现这部分？

UPD：这是使用的 link 到 google 映射： https://www.google.com/maps/place/El+TabanKo/@42.848117,-2.6741402,19z/data=!4m15!1m7!3m6!1s0xd4fc26be313bc85:0xb10d327c782f87fa!2sCorrer%C3%ADa+Kalea,+45,+01001+Gasteiz,+Araba!3b1!8m2!3d42.8480012!4d-2.6737255!3m6!1s0xd4fc26be26c5be1:0x5f5e0ee05fe08041!8m2!3d42.8481171!4d-2.6735931!9m1!1b1

Answer 1

如我所见，该元素的正确且唯一的 css 选择器是

div.section-layout.section-scrollbox

所以，试试这个：

scrollable_div = self.driver.find_element_by_css_selector('div.section-layout.section-scrollbox')

Selenium - 在抓取 google 地图评论时无法找到此类元素

Selenium - Unable to locate such element while scraping google maps reveiws

google-maps

css-selectors

web-scraping

python-3.x