关闭 SSL 证书验证
Turn off SSL Certificate verification
正在研究 Storm Crawler 1.12.1 和 Elastic search 6.5.x。我的爬虫是 http://localhost:8080 上的 运行 和 https://localhost:9200 上的 Elastic search 运行。我正在尝试抓取我面临的 website.During URL 注入过程javax.net.ssl.SSLHandshakeException: General SSLEngine problem 错误并检查 the detailed error here。
我尝试了 OKHttp 并在爬虫中添加了 https.protocol.implementation: "com.digitalpebble.stormcrawler.protocol.okhttp.HttpProtocol"-conf.yaml。
如何暂时关闭证书验证。
正如@julien-nioche 在他的评论中指出的那样：StormCrawler 在 URL 注入过程中 不 提取。
SSLHandshakeException 最有可能源自您的 ElasticSearch 实例。您的 ElasticSearch 真的如 https://localhost:9200 所示 运行 on HTTPS 吗？
堆栈跟踪表明无法验证证书路径。
Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
要解决此问题，您可以将证书添加到本地密钥库。有关此主题的详细信息，您可以查看此answer。另一种可能性是在本地开发设置的 ElasticSearch 实例上禁用 HTTPS。
正在研究 Storm Crawler 1.12.1 和 Elastic search 6.5.x。我的爬虫是 http://localhost:8080 上的 运行 和 https://localhost:9200 上的 Elastic search 运行。我正在尝试抓取我面临的 website.During URL 注入过程javax.net.ssl.SSLHandshakeException: General SSLEngine problem 错误并检查 the detailed error here。
我尝试了 OKHttp 并在爬虫中添加了 https.protocol.implementation: "com.digitalpebble.stormcrawler.protocol.okhttp.HttpProtocol"-conf.yaml。
如何暂时关闭证书验证。
正如@julien-nioche 在他的评论中指出的那样：StormCrawler 在 URL 注入过程中 不 提取。
SSLHandshakeException 最有可能源自您的 ElasticSearch 实例。您的 ElasticSearch 真的如 https://localhost:9200 所示 运行 on HTTPS 吗？
堆栈跟踪表明无法验证证书路径。
Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
要解决此问题，您可以将证书添加到本地密钥库。有关此主题的详细信息，您可以查看此answer。另一种可能性是在本地开发设置的 ElasticSearch 实例上禁用 HTTPS。