如何使用 lxml 与页面交互并拉出要抓取的菜单?

How do I use lxml to interact with the page and pull up a menu to be scraped?

供参考,this is the page that I will use as an example. It is the one that best demonstrates what I am trying to accomplish.如果您查看页面,屏幕顶部有一个品牌横幅。在右上角,有一个查看所有按钮,可以拉出一个菜单。此菜单中的数据不在 html 中,它是通过单击该按钮生成的。有没有办法让 lxml 执行单击该按钮并拉出该菜单的操作?

我看了一下网络日志。在我看来,那里没有任何文件或 url 包含该菜单中的数据。我相信 selenium 确实有这个功能,但我宁愿不必只使用 lxml。

lxml是一个解析器,所以它不能点击页面上的按钮元素。不幸的是,您需要使用像 Selenium 这样的工具来完成此操作。

我知道您提到过查看网络日志。通常在这些情况下,最好尝试找到端点并直接发出请求,但如果您尝试过但找不到请求,请使用 Selenium。