如何使用 Selenium 单击弹出模式框中的按钮

Question

我正在尝试在 Python 中使用 Selenium 从 https://www.seekingalpha.com 中提取一些数据。首页有一个"Sign-in/Join now"link。我使用 Selenium 单击它，弹出窗口要求使用另一个 "Sign in" 按钮提供登录信息。似乎我下面的代码可以输入我的用户名和密码，但我尝试点击 "sign in" 按钮没有得到正确的响应（它点击了弹出框下方的广告。）

我正在使用 Python 3.5。

这是我的代码：

driver = webdriver.Chrome()

url = "https://seekingalpha.com"

driver.get(url)

sleep(5)

driver.find_element_by_xpath('//*[@id ="sign-in"]').click() 

sleep(5)

driver.find_element_by_xpath('//*[@id ="authentication_login_email"]').send_keys("xxxx@gmail.com") 

driver.find_element_by_xpath('//*[@id ="authentication_login_password"]').send_keys("xxxxxxxxx") 

driver.find_element_by_xpath('//*[@id="log-btn"]').click()

非常感谢advice/suggestion。

Answer 1

编辑：之前的 'answer' 是错误的，所以我已经更新了它。

明白了，伙计，这就是你需要做的：
1.) 获取最新的 firefox
2.) 获取最新的 geckodriver
3.) 使用 firefox 驱动

driver = webdriver.Firefox(executable_path=r'd:\Python_projects\geckodriver.exe')

url = "https://seekingalpha.com"

driver.get(url)

sign_in = driver.find_element_by_xpath('//*[@id ="sign-in"]')
driver.execute_script('arguments[0].click()', sign_in)
time.sleep(1)

email = driver.find_element_by_xpath('//*[@id ="authentication_login_email"]')
email.send_keys("xxxx@gmail.com")
pw = driver.find_element_by_xpath('//*[@id ="authentication_login_password"]')
pw.send_keys("xxxxxxxxx")
pw.send_keys(Keys.ENTER)

解释：

如果浏览器tells that information很容易检测是否使用了selenium（而且这个页面似乎不想被抓取）：

The webdriver read-only property of the navigator interface indicates whether the user agent is controlled by automation.

我一直在寻找如何绕过检测的答案，并找到了 this 文章。

Your best of avoiding detection when using Selenium would require you to use one of the latest builds of Firefox which don’t appear to give off any obvious sign that you are using Firefox.

试了一下，启动后加载了正确的页面设计，登录尝试的结果与手动尝试相同。

此外，通过更多搜索发现，即使使用 chrome 驱动程序，您也有机会绕过检测。

今天也学到了新东西。 \o/

补充一个想法：

我用嵌入式铬 (CEF) 做了一个小实验。如果您通过 selenium 打开 chrome window 并打开控制台并检查 navigator.webdriver，结果将是 True。但是，如果您打开 CEF window，然后对其进行远程调试，则标志将为 False。我没有用它检查边缘情况，但非边缘情况应该可以使用 CEF。

所以您以后可能想查看的内容：

1.) 在命令行中：pip install cefpython3
2.) git clone https://github.com/cztomczak/cefpython.git
3.) 打开您的 CEF 项目并在示例中找到 hello.py
4.) 将启动更新为 cef.Initialize(settings={"remote_debugging_port":9222})
5.) 运行 hello.py
（这是初始的一次性设置，您可以在将来自定义它，但主要的事情已经完成，您有一个打开了调试端口的浏览器）
6.) 修改chrome启动为：

from selenium.webdriver.chrome.options import Options

chrome_options = Options()
chrome_options.debugger_address = "127.0.0.1:9222"
driver = webdriver.Chrome(chrome_options=chrome_options, executable_path=chrome_driver_executable)

7.) 现在你在浏览器中有一个没有 'automated' 签名的驱动程序。可能会有一些缺点，例如：

CEF 不是超级最新，目前最新发布的 chrome 是 v76，CEF 是 v66。
也 "some stuff" 可能不起作用，就像 window.Notification 不是 CEF 中的东西

Answer 2

我试过你提供的代码，它工作正常。我添加 selenium wait 只是为了检查其他选项，这些选项也运行良好我更改了 2 行而不是 sleeps

driver.get(url)
wait = WebDriverWait(driver, 10)
signin = wait.until(EC.element_to_be_clickable((By.XPATH, "//*[@id ='sign-in']")))
#sleep(5)

signin.click()

#driver.find_element_by_xpath('//*[@id ="sign-in"]').click()

#sleep(5)
wait.until(EC.element_to_be_clickable((By.XPATH, "//*[@id ='authentication_login_email']")))
driver.find_element_by_xpath('//*[@id ="authentication_login_email"]').send_keys("xxxx@gmail.com")

它确实点击了 Sign in 按钮。当我点击登录按钮后检查控制台时，我发现网站上有验证码处理，它讲述了这个故事。我继续将用户代理添加到您的脚本中，但效果不佳。请注意以下屏幕截图中响应登录 API 和控制台错误的 blockscript 参数。但是 ui 上没有验证码 -

如何使用 Selenium 单击弹出模式框中的按钮

How to use Selenium to click a button in a popup modal box

python

selenium

modal-dialog

click

web-scraping