Java 关闭SSL证书验证
在Storm Crawler 1.12.1和Elastic search 6.5.x上工作。我的爬虫程序正在Java 关闭SSL证书验证,java,web-crawler,stormcrawler,Java,Web Crawler,Stormcrawler,在Storm Crawler 1.12.1和Elastic search 6.5.x上工作。我的爬虫程序正在http://localhost:8080和在上运行的弹性搜索https://localhost:9200。我正在尝试对网站进行爬网。在URL注入过程中,我面临javax.net.ssl.SSLHandshakeException:General SSLEngine问题错误和检查 我尝试了OKHttp,并在crawler-conf.yaml中添加了https.protocol.implem
http://localhost:8080
和在上运行的弹性搜索https://localhost:9200
。我正在尝试对网站进行爬网。在URL注入过程中,我面临javax.net.ssl.SSLHandshakeException:General SSLEngine问题
错误和检查
我尝试了OKHttp,并在crawler-conf.yaml中添加了https.protocol.implementation:“com.digitalpebble.stormclawler.protocol.OKHttp.HttpProtocol”
如何暂时关闭证书验证。正如@julien nioche在其评论中指出的那样:StormCrawler在URL注入过程中不会获取
SSLHandshakeException
很可能来自您的ElasticSearch实例。您的ElasticSearch是否真的在HTTPS
上运行,如https://localhost:9200
stacktrace指示无法验证证书路径
Caused by: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target
要解决此问题,可以将证书添加到本地密钥存储中。有关此主题的详细信息,请参阅此。另一种可能是在本地开发设置的ElasticSearch实例上禁用
HTTPS
。在注入过程中没有抓取,因此切换到OKHttp不会有任何效果。这很可能是与Elasticsearch连接的问题。