Apache spark HDP2.3.2上spark-Oozie工作流需要spark-assembly-1.5.2.-hadoop2.7.jar

我试图在oozie 4.2.0（HDP2.3.x）上安排spark 1.5.2作业。Spark 1.5.2已在外部安装，我不使用hortonworks提供的默认Spark版本。我指的是下面的帖子来设置这个

我正在努力寻找下面的罐子

-spark-assembly-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

-spark-examples-1.5.2.2.3.4.0-3485-hadoop2.7.1.2.3.4.0-3485.jar

---

如果你能帮我找到/下载上面的JAR，那将是一个很好的开始帮助。

你检查过spark lib path了吗

/usr/hdp/current/spark-client/lib

你可以找到

[ram@IP lib]$ ls
datanucleus-api-jdo-3.2.6.jar  datanucleus-rdbms-3.2.9.jar               spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar  spark-hdp-assembly.jar
datanucleus-core-3.2.10.jar    spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar  spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar
[ram@IP lib]$

然后将所需的库复制到工作流库中

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib

---

你登记过spark lib path吗

/usr/hdp/current/spark-client/lib

你可以找到

[ram@IP lib]$ ls
datanucleus-api-jdo-3.2.6.jar  datanucleus-rdbms-3.2.9.jar               spark-assembly-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar  spark-hdp-assembly.jar
datanucleus-core-3.2.10.jar    spark-1.6.1.2.4.2.0-258-yarn-shuffle.jar  spark-examples-1.6.1.2.4.2.0-258-hadoop2.7.1.2.4.2.0-258.jar
[ram@IP lib]$

然后将所需的库复制到工作流库中

eg: hadoop fs -put /usr/hdp/current/spark-client/lib/* YOUR_WORKFLOW/lib

---

如前所述，我们没有使用HDP附带的Spark。原因是HDP附带的Spark是1.4.x版，我们需要Spark 1.5.2，因此我们在外部安装了Spark 1.5.2，并在纱线和HDFS上使用Spark 1.5.2。但是在ooze上很难安排spark的工作。为了让spark 1.5.2与oozie一起工作，我需要park-assembly-1.5.2。-hadoop2.7.jar。如果您在oozie中使用Spark 1.5.2，请共享该程序集jar。

wgethttp://d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-hadoop2.6.tgz

tar-xvf spark-1.5.2-bin-hadoop2.6.tgz

cd spark-1.5.2-bin-hadoop2.6/lib

[ram@IPlib]$ls datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2.9.jar spark-1.5.2-warn-shuffle.jar spark-assembly-1.5.2-hadoop2.6.0.jar spark-examples-1.5.2-hadoop2.6.0.jar[ram@IPlib]$

然后将所需的lib复制到您的工作流lib

例如：hadoop fs-put/usr/hdp/current/spark client/lib/*您的工作流/lib

然后更改job.properties

oozie.use.system.libpath=false

Ram我有用于1.5.2 hadoop 2.6的程序集jar，我需要spark 1.5.2和hadoop 2.7Ram，如上所述，我们没有使用HDP附带的Spark。原因是HDP附带的Spark是1.4.x版，我们需要Spark 1.5.2，因此我们在外部安装了Spark 1.5.2，并在纱线和HDFS上使用Spark 1.5.2。但是在ooze上很难安排spark的工作。为了让spark 1.5.2与oozie一起工作，我需要park-assembly-1.5.2。-hadoop2.7.jar。如果您在oozie中使用Spark 1.5.2，请共享该程序集jar。

wgethttp://d3kbcqa49mib13.cloudfront.net/spark-1.5.2-bin-hadoop2.6.tgz

tar-xvf spark-1.5.2-bin-hadoop2.6.tgz

cd spark-1.5.2-bin-hadoop2.6/lib

[ram@IPlib]$ls datanucleus-api-jdo-3.2.6.jar datanucleus-core-3.2.10.jar datanucleus-rdbms-3.2.9.jar spark-1.5.2-warn-shuffle.jar spark-assembly-1.5.2-hadoop2.6.0.jar spark-examples-1.5.2-hadoop2.6.0.jar[ram@IPlib]$

然后将所需的lib复制到您的工作流lib

例如：hadoop fs-put/usr/hdp/current/spark client/lib/*您的工作流程/lib

然后更改job.properties

oozie.use.system.libpath=false

Ram我有用于1.5.2 hadoop 2.6的程序集jar我需要使用hadoop 2.7的spark 1.5.2