在 Shopee 电子商务网站上获取产品名称的工作相对 xpath

Question

我要在本站拉取产品名称：https://shopee.com.my/search?keyword=h370m 我在这个问题上得到了@DebanjanB 的支持，但我无法将产品名称的 xpath 应用到该解决方案中。这是我的代码：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

options = webdriver.ChromeOptions()
options.add_argument('--headless')
options.add_argument('start-maximized')
options.add_argument('disable-infobars')
options.add_argument('--disable-extensions')
browserdriver = webdriver.Chrome(chrome_options=options, executable_path=r'C:\Users\admin\Desktop\chromedriver_win32\Chromedriver')
browserdriver.get('https://shopee.com.my/search?keyword=h370m')
WebDriverWait(browserdriver, 20).until(EC.element_to_be_clickable((By.XPATH, "//div[@class='shopee-modal__container']//button[text()='English']"))).click()
print([my_element.text for my_element in WebDriverWait(browserdriver, 20).until(EC.visibility_of_all_elements_located((By.XPATH, ".//*[@class='_1JAmkB']")))])
print("Program Ended")

此外，我尝试了不同的xpath，例如：

By.XPATH, ".//*[@class='_1JAmkB']/child::div"

或

//div[contains(concat(' ', normalize-space(@class), ' '), ' _1NoI8_ ')]

他们都不能给我预期的结果

我收到的输出是：

['', '', '', '', '', '', '', '', '', '', '', '', '', '', ''] Program Ended

请帮我解决这个问题。谢谢！

Answer 1

XPath:

您可以使用这个 xpath 并且您还需要 innerHTML（不是 .text）

//*[@class="_1NoI8_ _2gr36I"]

然后提取innerHTML。

print([my_element.get_attribute('innerHTML') for my_element in WebDriverWait(browserdriver, 10).until(EC.presence_of_all_elements_located((By.XPATH, '//*[@class="_1NoI8_ _2gr36I"]')))])

CSS:

print([my_element.get_attribute('innerHTML') for my_element in WebDriverWait(browserdriver, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, "._1NoI8_._2gr36I")))])

API:

我仍然认为 API 更好。我展示了使用。我每次都会得到名称和价格，所以随着时间的推移我不确定你遇到的问题（虽然我不知道你有多少次运行）。使用 API，您无需滚动即可生成所有结果。

稍等片刻，您还可以从以下页面的脚本标签中提取所有数据：

from selenium import webdriver
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
import time
import json

browserdriver = webdriver.Chrome()
browserdriver.get('https://shopee.com.my/search?keyword=h370m')
WebDriverWait(browserdriver, 20).until(EC.element_to_be_clickable((By.XPATH, "//div[@class='shopee-modal__container']//button[text()='English']"))).click()
time.sleep(2)
products = [item for item in WebDriverWait(browserdriver, 10).until(EC.presence_of_all_elements_located((By.CSS_SELECTOR, '[type="application/ld+json"]')))]
products_json = [product.get_attribute('innerHTML') for product in products[1:]]
names = [json.loads(product)['name'] for product in products_json]  #just showing name extraction from json
len(names)

在 Shopee 电子商务网站上获取产品名称的工作相对 xpath

Get working relative xpath of product name at Shopee ecommercial site

python

selenium

xpath

e-commerce

web-scraping