在 Python 中使用 Selenium 处理 "Accept Cookies" 弹出窗口

Question

我一直在尝试用 selenium 抓取这个房地产网站的一些信息。但是，当我访问该网站时，我需要接受 cookie 才能继续。这仅在机器人访问网站时发生，而不是在我手动访问网站时发生。当我尝试通过 xpath 或 id 找到相应的元素时，正如我在手动检查页面时找到的那样，出现以下错误。

selenium.common.exceptions.NoSuchElementException：消息：没有这样的元素：无法定位元素：{"method":"xpath","selector":"//*[@id="uc-btn-accept-横幅"]"}

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC



PATH = "/usr/bin/chromedriver"
driver = webdriver.Chrome(PATH)

driver.get("https://www.immoweb.be/en/search/house/for-sale?countries=BE&page=1&orderBy=relevance")
driver.find_element_by_xpath('//*[@id="uc-btn-accept-banner"]').click()

有谁知道如何解决这个问题？为什么我找不到元素？

下面是接受 cookie 弹出窗口的图像。

这是“继续浏览”按钮对应的HTML。 XPATH如上。

<button aria-label="Keep browsing" id="uc-btn-accept-banner" class="uc-btn-new  uc-btn-accept">Keep browsing
          <span id="uc-optin-timer-display"></span></button>

Answer 1

你们非常亲密！

如果您在新浏览器中打开您的页面，您会注意到该页面已完全加载，然后，稍后会出现您的弹出窗口。

selenium 中默认的等待策略就是the page is loaded。页面加载和显示出现之间的绘制延迟导致您的脚本失败。

您有两个不错的同步选项。

1/ 包括对驱动程序的隐式等待。每个脚本执行一次并影响所有对象。这会在抛出任何错误之前等待 10 秒，或者在准备就绪时继续：

PATH = "/usr/bin/chromedriver"
driver = webdriver.Chrome(PATH)
driver.implicitly_wait(10)

driver.get("https://www.immoweb.be/en/search/house/for-sale?countries=BE&page=1&orderBy=relevance")
driver.find_element_by_xpath('//*[@id="uc-btn-accept-banner"]').click()

2/ 仅对您的对象进行显式等待：

PATH = "/usr/bin/chromedriver"
driver = webdriver.Chrome(PATH)

driver.get("https://www.immoweb.be/en/search/house/for-sale?countries=BE&page=1&orderBy=relevance")
WebDriverWait(driver, 10).until(EC.element_to_be_clickable((By.XPATH,'//*[@id="uc-btn-accept-banner"]'))).click()

有关等待策略的更多信息是 here

在 Python 中使用 Selenium 处理 "Accept Cookies" 弹出窗口

Handling "Accept Cookies" popup with Selenium in Python

python

selenium

alert

selenium-chromedriver

selenium-webdriver