Apache spark Hortonworks Oozie火花行动

有没有人通过HDP中的Oozie成功运行Spark操作

我正在用Oozie 4.2.0运行HDP2.3.2。火花动作设置为在纱线簇模式下运行。spark作业是一个虚拟作业，没有输入文件

我首先发现了错误，并通过从hdfs oozie spark lib文件夹中删除以下内容（在我的示例中：

/user/oozie/share/lib/lib_2015111201309/spark/

）绕过了错误：

• 速子-0.5.0.jar
• tachyon-client-0.5.0.jar（都是因为错误）
• spark-core_2.10-1.1.0.jar
• spark-graphx_2.10-1.1.0.jar
• spark-streaming_2.10-1.1.0.jar

并在工作流库文件夹中添加了以下内容：

• datanucleus-api-jdo-3.2.6.jar
• datanucleus-core-3.2.10.jar
• datanucleus-rdbms-3.2.9.jar
• spark-1.4.1.2.3.2.0-2950-Thread-shuffle.jar
• spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
• spark-examples-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar

现在我遇到以下错误：

Oozie启动器失败，Main类[org.apache.Oozie.action.hadoop.SparkMain]，Main（）引发异常，从hdp4/10.10.1.84到0.0.0.0:8032的调用在连接异常上失败：java.net.ConnectException:连接被拒绝；有关更多详细信息，请参阅： java.net.ConnectException:从hdp4/10.10.1.84到0.0.0.0:8032的调用在连接异常时失败：java.net.ConnectException:连接被拒绝；有关更多详细信息，请参阅：

我提到：

• 在job.properties文件和纱线配置文件中，作业跟踪器/资源管理器端口均设置为8032
• 应用程序运行了约20分钟（我运行了多次并观察到了这个时间）

---

以下是我为让SparkAction在HDP2.3.4上工作而执行的步骤
• 备份Oozie sharelib spark文件夹，并删除除

  Oozie sharelib-.jar之外的所有jar。在我的例子中，我只是将spark文件夹重命名为
  spark backup
  ，并创建了一个新的
  spark
  文件夹，然后复制了我提到的jar

• 将所有JAR从

  $SPARK_HOME/lib

  复制到Oozie sharelib SPARK文件夹
• 重新启动Oozie
• 通过Ambari将warn.resourcemanager.address更改为

  ：8032

• 再生纱

---

我以前也遇到过类似的问题，所以我在Hortonworks社区上发布了这篇文章，这是帮助我最终让它工作的原因。
你能告诉我们你尝试了什么吗？你正在使用哪个版本的HDP？您尝试了什么，遇到了什么错误？@PeterSmith我添加了更多信息，谢谢you@TonTorres我添加了更多信息，谢谢你，不用重新启动服务，你可以使用CLI“重新同步”ShareLib-谢谢Samson，我不知道。