JSoup 自动关注 javascript 重定向

Question

我正在使用 JSoup 抓取网站，但它使用 javascript 重定向到新页面。我确定它没有使用 302 重定向，因为当我关闭浏览器的 javascript 时它会停止重定向。有没有办法让 JSoup 自动跟随 javascript 重定向？如果不是，还有哪些其他选择允许 javascript 重定向？

Answer 1

Jsoup 是一个解析器。它不包含 javascript 执行引擎，因此无法执行 javascript。 为了执行 javascript 你必须使用 headless browser, like selenium webdriver.

另一种选择是解析负责重定向的 javascript（作为文本）并提取 url。之后，您只需执行您通常做的事情即可抓取网站。但这是一个 "hack"，它不是自动的，我不知道它是否足够通用，可以满足您的需求。