使用 HTML 敏捷包抓取

Question

我用 HTML agility pack 抓取了网页但我不知道如何获取加载 javascript 的数据。我知道 ChromeDriver 可能会有帮助，但我不想在我的应用程序中打开浏览器。实际上，我想让程序在用户界面后面抓取数据。例如，我想抓取此 page 中的所有滑块图像但图像由 JS 加载。所以 HTML 敏捷包无法捕捉到它。

Answer 1

您也可以使用无头 chrome 驱动程序。无头浏览器是自动化测试和服务器环境的绝佳工具，您不需要可见的 UI shell.

Chrome Chrome 59.x 及更高版本支持 Headless。

您可以使用 chrome headless 使用此代码

  ChromeOptions option = new ChromeOptions();
  option.AddArgument("--headless");
  _driver = new ChromeDriver(option);

使用 HTML 敏捷包抓取

Scrape with HTML agility pack

c#

html-agility-pack