Apache spark 示例Oozie作业可以从色调中工作，但不能从命令行中工作：未找到SparkMain

我已经成功运行了Hue Oozie工作流编辑器（Cloudera 5.5.1 QuickStart VM）中提供的示例Spark工作流（“通过启动Spark Java程序复制文件”）

我现在尝试使用

oozie

commandline工具手动运行它：

oozie job -oozie http://localhost:11000/oozie -config job.properties -run

工作流XML基本上没有变化-我已将其复制到HDFS，并具有以下

作业。属性

：

nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml
input=/user/hue/oozie/workspaces/data/sonnets.txt
output=here

oozie.use.system.libpath=true

作业被接受并显示在Hue web仪表板中，但几秒钟后被终止，日志报告：

启动器异常：java.lang.ClassNotFoundException:Class org.apache.oozie.action.hadoop.SparkMain未找到

---

这里有什么问题？

默认情况下，Oozie不包括Spark操作的库-您需要将以下内容添加到作业中。属性：

nameNode=hdfs://localhost:8020
jobTracker=localhost:8032
oozie.wf.application.path=/user/cloudera/workflows/spark-scala/spark-scala.xml
input=/user/hue/oozie/workspaces/data/sonnets.txt
output=here

oozie.use.system.libpath=true

（单击色调仪表板中先前成功的色调工作流，可以选择配置选项卡以查看色调提供的属性）