Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/ssl/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Mapreduce作业历史记录服务器和web UI不遵守仅HTTPS_策略_Hadoop_Ssl_Https_Yarn - Fatal编程技术网

Hadoop Mapreduce作业历史记录服务器和web UI不遵守仅HTTPS_策略

Hadoop Mapreduce作业历史记录服务器和web UI不遵守仅HTTPS_策略,hadoop,ssl,https,yarn,Hadoop,Ssl,Https,Yarn,我使用的是hadoop 2.7.2,并且已经为Thread和job history server web UI配置了HTTPS,但是UI仍然作为HTTP而不是HTTPS使用 我已经设置了密钥和信任存储,并配置了ssl-server.xml和ssl-client.xml。除此之外,我还使用ambari将以下属性放入mapred-site.xml中: mapreduce.jobhistory.http.policy=HTTPS_ONLY mapreduce.jobhistory.webapp.htt

我使用的是hadoop 2.7.2,并且已经为Thread和job history server web UI配置了HTTPS,但是UI仍然作为HTTP而不是HTTPS使用

我已经设置了密钥和信任存储,并配置了ssl-server.xml和ssl-client.xml。除此之外,我还使用ambari将以下属性放入mapred-site.xml中:

mapreduce.jobhistory.http.policy=HTTPS_ONLY
mapreduce.jobhistory.webapp.https.address=JHS:19889
mapreduce.jobhistory.webapp.address=JHS:19889
访问https url时,我收到以下错误:

SSL received a record that exceeded the maximum permissible length. Error code: SSL_ERROR_RX_RECORD_TOO_LONG
上述错误是因为作业历史记录服务器正在侦听http连接而不是https

当我使用http访问相同的url时,即,我可以看到作业历史服务器web ui。在完成以下配置后,Thread的资源管理器web UI也会发生同样的情况:

yarn.http.policy=HTTPS_ONLY
yarn.log.server.url=https://JHS:19889/jobhistory/logs
yarn.resourcemanager.webapp.https.address=RM:8090
yarn.nodemanager.webapp.https.address=0.0.0.0:8090

如何使Thread和job history server web UI在HTTPS上可用?

Map Reduce和Thread是Hadoop项目的一部分,因此要启用SSL,您需要在core-site.xml中打开Hadoop中的SSL

hadoop.ssl.enabled=true


然后还有一些设置(搜索hadoop.ssl)您可能需要,但这是主要的。

hadoop.ssl.enabled
已设置为
true
,但作业历史记录服务器在使用
mapreduce.jobhistory.webapp.https.address
地址和端口时仍在HTTP上运行。是否将hadoop.ssl.server.conf设置为指向ssl-server.xml,将hadoop.ssl.client.conf设置为指向ssl-server.xml指向核心站点.xml中的ssl-client.xml?是的,我这样做了。HDFS webui https工作正常,它使用相同的属性查找ssl服务器和ssl客户端文件。帮助调试的一件事是将mapreduce.jobhistory.webapp.address设置为与https不同的端口。看看服务器代码,这应该无关紧要,但值得一试。在作业历史记录服务器日志或RM日志中是否看到任何内容?首先搜索“org.apache.hadoop.http.HttpServer2:Jetty绑定到”。对于我的设置,我看到“Started SslSocketConnectorSecure”。