不可点击点（Selenium）

Question

我想点击“显示更多”按钮，但我不能。

有什么帮助吗？非常感谢。

from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('https://www.scorespro.com/basketball/china/cba/results/')
time.sleep(2)
showmore = driver.find_element_by_link_text("Show more")
showmore.click()
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")``

Answer 1

将高度除以一些数字可以降低滚动高度，并会在 Show More 可见的地方停止

from selenium import webdriver
import time

driver = webdriver.Chrome()
driver.get('https://www.scorespro.com/basketball/china/cba/results/')
driver.execute_script("window.scrollTo(0, document.body.scrollHeight/1.35);")
time.sleep(2)
driver.find_element_by_class_name("show_more").click()
time.sleep(2)
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

Answer 2

您的代码有两个问题：首先，您尝试在单击后滚动，它应该在之前的位置。其次，您正在使用屏幕高度，如果尺寸不同，它可能在一个设备位上工作而不在其他设备位上工作。更好的方法是滚动到元素本身并单击。请参阅下面的代码。它运行良好：

import time
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC


driver = webdriver.Chrome('..\drivers\chromedriver')
driver.get("https://www.scorespro.com/basketball/china/cba/results/")
driver.maximize_window()
# I have accept cookies on page , so below step
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, "//a[text()='Agree']"))).click()
showMore = driver.find_element_by_link_text("Show more")
driver.execute_script("arguments[0].scrollIntoView();", showMore)
time.sleep(2)
showMore.click()

Answer 3

如果您在 table 之后，则不需要使用 Selenium。您可以直接通过请求提取数据，并使用 pandas.

进行解析

发现，当你进入页面时，你想要right-click和'Inspect'（或Shft-Ctrl-I）。这将打开一个侧面板。当它打开时，您想转到 Network 和 XHR。并且您想对这些请求进行排序（您可以单击 Preview 查看它 return。您可能需要 1）重新加载页面；和 2) 单击 table。例如，一旦我点击 table 底部的“显示更多”，它就会弹出。

找到后，单击 Headers，您会看到 url 和有效负载等。我在图片中为您突出显示了它：

import requests
import pandas as pd


url = 'https://www.scorespro.com/basketball/ajaxdata_more.php'
headers = {'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.149 Mobile Safari/537.36'}


dfList = []
for season in ['2018-2019','2019-2020']:
    continueLoop = True
    page = 1
    while continueLoop == True:
        print ('%s Collecting Page: %s' %(season,page))
        payload = {
        'country': 'china',
        'comp': 'cba',
        'season': season,
        'status': 'results',
        'league': '',
        'page': '%s' %page}
    
    
        response = requests.get(url, headers=headers, params=payload)
        
        try:
            dfs = pd.read_html(response.text)
        except ValueError:
            print ('No more tables found.')
            continueLoop = False
            
        page+=1
        dfList.extend(dfs)

dfList_single = []
cols = ['Date','Final Time', 'Team', 'Final Score','Q1','Q2','Q3','Q4','OT','Half Time Score','Combined Total Score']
for each in dfList:
    each = each.loc[:,[0, 1, 2, 5, 6, 7, 8, 9, 10, 11, 12]]
    each.columns = cols
    teamA = each.iloc[0,:]
    teamB = each.iloc[1,2:]
    temp_df = pd.concat([teamA, teamB], axis=0).to_frame().T
    dfList_single.append(temp_df)


df = pd.concat(dfList_single)
df = df.reset_index(drop=True)

输出：

print(df.head(10).to_string())
             Date Final Time      Team  Final Score  Q1  Q2  Q3  Q4  Half Time Score  Combined Total Score
0  15.08.20 15:00         FT  Guandong          123  26  28  41  28               54                   238
1  15.08.20 15:00         FT  Liaoning          115  29  18  39  29               47                   238
2  13.08.20 15:00         FT  Liaoning          115  34  24  23  34               58                   228
3  13.08.20 15:00         FT  Guandong          113  38  28  27  20               66                   228
4  11.08.20 15:00         FT  Guandong          110  25  30  25  30               55                   198
5  11.08.20 15:00         FT  Liaoning           88  24  26  23  15               50                   198
6  08.08.20 15:00         FT  Guandong           88  16  21  26  25               37                   173
7  08.08.20 15:00         FT   Beijing           85  13  24  20  28               37                   173
8  07.08.20 15:00         FT  Liaoning          119  22  40  29  28               62                   232
9  07.08.20 15:00         FT  Xinjiang          113  33  22  34  24               55                   232

不可点击点（Selenium）

Not clickable point (Selenium)

python

selenium

webdriver