Selenium webdriver 无法获取元素

Question

我想创建一个 crawler/scraper。我想抓取的元素，在我看来服务于 JS。在我的浏览器上我可以看到那个元素，但是在 webdriver 上我看不到这个。

例如； URL : https://www.hotic.com.tr/p/hakiki-deri-camel-erkek-cuzdan-168675?_sgm_campaign=scn_2a06ce3c78082000&_sgm_source=168675&_sgm_action=click

在我的浏览器上我可以看到这样的元素：

但是在 chrome webdriver 上我看不到这样的元素：

我的 webdriver 代码是这样的：

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://www.hotic.com.tr/p/hakiki-deri-camel-erkek-cuzdan-168675?_sgm_campaign=scn_2a06ce3c78082000&_sgm_source=168675&_sgm_action=click")
driver.quit()

在我的浏览器上，我只需单击 URL。我没有用户帐户或促销代码。

如何在 webdriver chrome 上获取此元素？

Answer 1

要获取值 Sepette %30 İndirim: 153.30 TL，请使用 WebDriverWait() 并等待 element_to_be_clickable() 并跟随 css selector。

from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

driver = webdriver.Chrome(ChromeDriverManager().install())
driver.get("https://www.hotic.com.tr/p/hakiki-deri-camel-erkek-cuzdan-168675?_sgm_campaign=scn_2a06ce3c78082000&_sgm_source=168675&_sgm_action=click")
print(WebDriverWait(driver,20).until(EC.element_to_be_clickable((By.CSS_SELECTOR,"span.ins-discount-badge"))).text)

控制台输出：

Sepette %30 İndirim: 153.30 TL

Selenium webdriver 无法获取元素

Selenium webdriver cannot get an element

selenium

web-crawler

web-scraping

python-3.x

selenium-webdriver