使用 ruby 抓取动态内容
crawling dynamic content using ruby
我正在使用 ruby gems（nokogiri 和 mechanize）为网站制作爬虫，但该网站包含 bootstrap 模态（弹出式 windows），它是在单击按钮时动态生成的.
此内容（模态）显示在某些 URL 上使用 "get" 方法的按钮单击上。
我通过抓取与按钮关联的 URL 获得响应
但我只是得到相同的页面源。
如何使用 "ruby" 获取该动态内容的内容？
你说的那个模态很有可能是用Js渲染的。所以你要找的是不可能的，因为提到的库不执行 Js.
为了解析内容依赖于Js的页面，您应该使用其他工具，例如puppeteer
我正在使用 ruby gems（nokogiri 和 mechanize）为网站制作爬虫，但该网站包含 bootstrap 模态（弹出式 windows），它是在单击按钮时动态生成的.
此内容（模态）显示在某些 URL 上使用 "get" 方法的按钮单击上。
我通过抓取与按钮关联的 URL 获得响应 但我只是得到相同的页面源。
如何使用 "ruby" 获取该动态内容的内容？
你说的那个模态很有可能是用Js渲染的。所以你要找的是不可能的，因为提到的库不执行 Js.
为了解析内容依赖于Js的页面，您应该使用其他工具，例如puppeteer