Fatal编程技术网
  • apache-spark/
  • Apache spark 尝试从齐柏林飞艇向HDFS写入文件时出现异常

Apache spark 尝试从齐柏林飞艇向HDFS写入文件时出现异常

apache-spark

Apache spark 尝试从齐柏林飞艇向HDFS写入文件时出现异常,apache-spark,apache-zeppelin,apache-spark-mllib,Apache Spark,Apache Zeppelin,Apache Spark Mllib,当试图从齐柏林飞艇内的Spark写入HDFS时，我收到了org.apache.hadoop.mapred.DirectFileOutputCommitter的ClassNotFoundException： java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.DirectFileOutputCommitt

当试图从齐柏林飞艇内的Spark写入HDFS时，我收到了
org.apache.hadoop.mapred.DirectFileOutputCommitter的
ClassNotFoundException
：


java.lang.RuntimeException: java.lang.RuntimeException:    java.lang.ClassNotFoundException: Class org.apache.hadoop.mapred.DirectFileOutputCommitter not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2106)
at org.apache.hadoop.mapred.JobConf.getOutputCommitter(JobConf.java:725)
at org.apache.spark.rdd.PairRDDFunctions$$anonfun$saveAsHadoopFile$4.apply$mcV$sp(PairRDDFunctions.scala:983)


正在尝试运行的代码：


val model = LinearRegressionWithSGD.train(someRDD, numIterations)
val modelPath = "hdfs:///some_path/LinearRegressionWithSGD"
model.save(sc, modelPath)


在搜索这个类时，我甚至找不到它。我能找到的最接近的是


我使用的是commit
18c8c9ea512a0d87699a73e2ca26192d03748661（10月9日），Spark 1.5.0 on Thread和Hadoop 2.6。我也遇到了同样的问题。在“hadoop mapreduce client core.X.X.X.jar”中查找该文件，但在jar中找不到该文件

我通过将
org.apache.hadoop.mapred.DirectFileOutputCommitter
添加到我的存储库中，解决了这个问题。可在此处找到该文件的源：


还不确定这个问题的根本原因是什么。深入研究。一旦我有了答案，就会在这里更新。
我也有同样的问题。在“hadoop mapreduce client core.X.X.X.jar”中查找该文件，但在jar中找不到该文件

我通过将
org.apache.hadoop.mapred.DirectFileOutputCommitter
添加到我的存储库中，解决了这个问题。可在此处找到该文件的源：

还不确定这个问题的根本原因是什么。深入研究。我得到答案后会在这里更新