selenium webdriver 加载页面的时间太长
selenium webdriver takes too long to load a page
我使用 PhantomJS 作为我的网络驱动程序。有时加载网页的时间太长,但我不知道为什么
import time
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'
driver = webdriver.PhantomJS(service_args=['--load-images=no'], desired_capabilities=dcap)
t=time.time()
driver.get('http://www.tibetculture.net/2012zyzy/zx/201509/t20150915_3939844.html')
print 'Time consuming:', time.time() - t
加载页面大约需要 86 秒。在浏览器中,网页可以在几秒钟内加载,我不知道为什么 webdriver PhantomJS 需要这么长时间。怎么了?
有一个"pending"脚本运行连续。我要做的是设置 页面加载超时 ,通过发出 window.stop()
:
来处理 TimeoutException
from selenium.common.exceptions import TimeoutException
t = time.time()
driver.set_page_load_timeout(10)
try:
driver.get('http://www.tibetculture.net/2012zyzy/zx/201509/t20150915_3939844.html')
except TimeoutException:
driver.execute_script("window.stop();")
print('Time consuming:', time.time() - t)
print(driver.find_element_by_id("NewsTitle").text)
打印新闻标题(证明您现在可以定位元素并在页面上执行操作):
Time consuming: 10.590633869171143
让藏医药走出雪域高原
我使用 PhantomJS 作为我的网络驱动程序。有时加载网页的时间太长,但我不知道为什么
import time
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36'
driver = webdriver.PhantomJS(service_args=['--load-images=no'], desired_capabilities=dcap)
t=time.time()
driver.get('http://www.tibetculture.net/2012zyzy/zx/201509/t20150915_3939844.html')
print 'Time consuming:', time.time() - t
加载页面大约需要 86 秒。在浏览器中,网页可以在几秒钟内加载,我不知道为什么 webdriver PhantomJS 需要这么长时间。怎么了?
有一个"pending"脚本运行连续。我要做的是设置 页面加载超时 ,通过发出 window.stop()
:
TimeoutException
from selenium.common.exceptions import TimeoutException
t = time.time()
driver.set_page_load_timeout(10)
try:
driver.get('http://www.tibetculture.net/2012zyzy/zx/201509/t20150915_3939844.html')
except TimeoutException:
driver.execute_script("window.stop();")
print('Time consuming:', time.time() - t)
print(driver.find_element_by_id("NewsTitle").text)
打印新闻标题(证明您现在可以定位元素并在页面上执行操作):
Time consuming: 10.590633869171143
让藏医药走出雪域高原