Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/visual-studio/7.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Spark/Hadoop-找不到DIGEST-MD5的SASL服务器实现_Hadoop_Apache Spark_Yarn - Fatal编程技术网

Spark/Hadoop-找不到DIGEST-MD5的SASL服务器实现

Spark/Hadoop-找不到DIGEST-MD5的SASL服务器实现,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,几个小时以来,我一直在尝试设置Hadoop/Thread,以便在其上执行Spark程序 但我被一个错误缠住了,我完全找不到任何原因 当我尝试使用--master warn执行spark submit或spark shell命令时,会出现以下异常: Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. Got ex

几个小时以来,我一直在尝试设置Hadoop/Thread,以便在其上执行Spark程序

但我被一个错误缠住了,我完全找不到任何原因

当我尝试使用--master warn执行spark submit或spark shell命令时,会出现以下异常:

Application application_1481891851677_0002 failed 2 times due to Error launching appattempt_1481891851677_0002_000002. 
Got exception: org.apache.hadoop.security.AccessControlException: Unable to find SASL server implementation for DIGEST-MD5 
我使用了spark和hadoop初学者教程中的配置:

核心站点.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

fs.defaultFS
hdfs://localhost:9000

hdfs site.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

dfs.replication
1.

纱线站点.xml

<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<configuration>
<property>
    <name>dfs.replication</name>
    <value>1</value>
</property>
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

纱线.节点管理器.辅助服务
mapreduce_shuffle

我没有在任何地方启用SASL。有人知道我将如何修复或至少规避错误吗?

我发现这是jdk版本的问题。当我的mapReduce作业使用openjdk-9在Hadoop2.8上运行时,我遇到了这个错误。在我将其更改为openjdk-8或openjdk-7后,它运行良好。

我发现这是jdk版本的问题。当我的mapReduce作业使用openjdk-9在Hadoop2.8上运行时,我遇到了这个错误。在我将其更改为openjdk-8或openjdk-7之后,它工作得很好