Spark/Hadoop-找不到DIGEST-MD5的SASL服务器实现
几个小时以来,我一直在尝试设置Hadoop/Thread,以便在其上执行Spark程序 但我被一个错误缠住了,我完全找不到任何原因 当我尝试使用--master warn执行spark submit或spark shell命令时,会出现以下异常:Spark/Hadoop-找不到DIGEST-MD5的SASL服务器实现,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,几个小时以来,我一直在尝试设置Hadoop/Thread,以便在其上执行Spark程序 但我被一个错误缠住了,我完全找不到任何原因 当我尝试使用--master warn执行spark submit或spark shell命令时,会出现以下异常: Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. Got ex
Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002.
Got exception: org.apache.hadoop.security.AccessControlException: Unable to find SASL server implementation for DIGEST-MD5
我使用了spark和hadoop初学者教程中的配置:
核心站点.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
fs.defaultFS
hdfs://localhost:9000
hdfs site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
dfs.replication
1.
纱线站点.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
纱线.节点管理器.辅助服务
mapreduce_shuffle
我没有在任何地方启用SASL。有人知道我将如何修复或至少规避错误吗?我发现这是jdk版本的问题。当我的mapReduce作业使用openjdk-9在Hadoop2.8上运行时,我遇到了这个错误。在我将其更改为openjdk-8或openjdk-7后,它运行良好。我发现这是jdk版本的问题。当我的mapReduce作业使用openjdk-9在Hadoop2.8上运行时,我遇到了这个错误。在我将其更改为openjdk-8或openjdk-7之后,它工作得很好