无法使用 python 解析网页

Question

我正在尝试解析下面的网页，以获取交易所中目前触及历史高位或低位的股票名称。

https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#

但是，当我使用美汤下载网页并查看数据时，我没有找到网页中提到的股票名称或价格。 我想写一个函数来下载每天创下历史新高的股票请帮忙我错过了什么？

Answer 1

页面上的部分 HTML 是由 JavaScript 动态生成的。您很可能正在使用 requests 库，它无法处理以这种方式生成的 HTML。

相反，您可以使用 Selenium 库，它允许您启动由 Python 控制的 Web 浏览器实例，并从那里获取页面源代码。

from selenium import webdriver

path = '...' # path to driver here
url = 'https://www.bseindia.com/markets/equity/EQReports/HighLow.html?Flag=H#'

driver = webdriver.Chrome(path)
page_source = driver.get(url).page_source

用BeautifulSoup解析page_source，就可以得到你想要的。