如何使用Java获取外部网页的XMLHTTPRequest响应文本？

Question

我很难解析来自外部网站的数据，例如 whosebug.com，仅使用 Java。 为了解此网页的内容，我访问了 Chrome 开发工具 并在那里 XMLHTTPRequest response 找到了我需要的所有信息！如果它有用，响应具有 JSON 格式。问题是如何仅使用 Java 而不使用 Servlet 来获取这些数据。

Answer 1

不要尝试抓取和解析网页，只需使用 StackExchange API 和标准 Java 工具发出请求并获取原始数据。

如果您的实际问题与 SO 没有直接关系，那么，请查找相关站点的 API。否则，您将需要通过手动解析网页或 运行 浏览器引擎中的页面并在无头引擎中使用标准 JS 来获取数据来逐字抓取网页。