从使用 React 和 jQuery 构建的网站抓取网页

Question

我需要从以下link中提取产品名称、价格和默认颜色： Link

但是，每次我加载以下脚本时，检索到的信息都不同（有时会打印所有三个值，有时会打印其中的 1-2 个或 none）。这与 WebDriverWait 无关。

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.action_chains import ActionChains as AC
#import json
from bs4 import BeautifulSoup as soup
browser = webdriver.Firefox()
browser.get('https://shop.mango.com/gb/women/skirts-midi/midi-satin-skirt_17042020.html?c=99')

wait = WebDriverWait(browser, 100).until(EC.presence_of_all_elements_located)

s = soup(browser.page_source, 'html.parser')
name = s.select('.product-name')[0].getText()
price = s.select('.product-sale')[0].getText()
color = s.select('.colors-info')[0].getText()
print(name, price, color)

请问如何提取所有三个元素？如果我尝试使用请求或 scrapy 下载页面，则缺少上述元素。

Answer 1

几点：

有一个接受 cookie 按钮，您必须单击该按钮才能继续。
在cookies按钮之后有一个模态关闭按钮，我们必须点击它才能继续。
在这种情况下使用显式等待、元素可见性。
比 xpath 更喜欢 CSS。
最大化浏览器。

代码：

driver = webdriver.Chrome(driver_path)
driver.maximize_window()
#driver.implicitly_wait(50)
wait = WebDriverWait(driver, 20)

driver.get('https://shop.mango.com/gb/women/skirts-midi/midi-satin-skirt_17042020.html?c=99')

try:
    print("to accept cookies")
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "button[id='onetrust-accept-btn-handler']"))).click()
except:
    pass

try:
    print("to close modal pop up windows")
    wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "div[class*='closeModal'][class$='confirmacionPais']"))).click()
except:
    pass


name = wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'product-name'))).text
price = wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'product-sale'))).text
color = wait.until(EC.visibility_of_element_located((By.CLASS_NAME, 'colors-info'))).text

print(name, price, color)

进口：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

输出：

to accept cookies
to close modal pop up windows
Midi satin skirt £39.99 Black

从使用 React 和 jQuery 构建的网站抓取网页

Scraping a web page from a website built with React and jQuery

python

selenium

beautifulsoup

scrapy

selenium-webdriver