如何使用 HtmlAgility 包通过单击 jquery 按钮来抓取页面中的数据

Question

我正在尝试使用 HtmlAgility 包从内容相似的页面（购物网站）中抓取数据。

有一个按钮可以加载更多由标签设计的项目。单击它会在同一页面上加载更多项目。

如果它是使用标签设计的，那么我将使用标签中的 href 属性 URL 获取下一个项目，而且我将为新的下一个项目加载新页面，所以没问题。

但这里没有新的 URL 和同一页面上加载的项目。

那么有什么办法可以实现这个功能吗？如何触发加载更多按钮以获取更多项目？

Answer 1

HtmlAgilityPack 是一个单独的 html 解析器，它只知道解析静态 html 文档。您想要的可以使用 selenium web driver 来完成。

另一种可能是——如果项目加载操作的数量是可以手动完成加载的——这样做并将结果 html 保存在本地，然后才使用 HtmlAgiliyPack 来解析您在本地存储的静态 html（而不是解析 http 响应）。

分享您正在谈论的网站的link，以便我可以添加一些代码片段来举例说明。