Hadoop 纱线簇上运行火花作业的问题

我想在Hadoop纱线集群模式下运行spark作业，并使用以下命令：

spark-submit --master yarn-cluster 
             --driver-memory 1g 
             --executor-memory 1g
             --executor-cores 1 
             --class com.dc.analysis.jobs.AggregationJob
               sparkanalitic.jar param1 param2 param3

我在下面得到了错误，请建议出了什么问题，命令是否正确。我正在使用CDH 5.3.1

Diagnostics: Application application_1424284032717_0066 failed 2 times due 
to AM Container for appattempt_1424284032717_0066_000002 exited with  
exitCode: 15 due to: Exception from container-launch.

Container id: container_1424284032717_0066_02_000001
Exit code: 15
Stack trace: ExitCodeException exitCode=15: 
    at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
    at org.apache.hadoop.util.Shell.run(Shell.java:455)
    at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
    at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
    at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
    at java.util.concurrent.FutureTask.run(FutureTask.java:262)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
    at java.lang.Thread.run(Thread.java:745)  

Container exited with a non-zero exit code 15
.Failing this attempt.. Failing the application.
     ApplicationMaster host: N/A
     ApplicationMaster RPC port: -1
     queue: root.hdfs
     start time: 1424699723648
     final status: FAILED
     tracking URL: http://myhostname:8088/cluster/app/application_1424284032717_0066
     user: hdfs

2015-02-23 19:26:04 DEBUG Client - stopping client from cache: org.apache.hadoop.ipc.Client@4085f1ac
2015-02-23 19:26:04 DEBUG Utils - Shutdown hook called
2015-02-23 19:26:05 DEBUG Utils - Shutdown hook called

---

任何帮助都将不胜感激。

命令看起来正确

我遇到的是，“退出代码15”通常表示TableNotFound异常。这通常意味着您提交的代码中存在错误

---

您可以通过访问跟踪URL来检查这一点

这可能意味着很多事情，对我们来说，由于Java类版本不受支持，我们收到了类似的错误消息，我们通过删除项目中引用的Java类修复了这个问题

使用此命令查看详细的错误消息：

yarn logs -applicationId application_1424284032717_0066

---

对于我来说，退出代码问题通过将

hive site.xml

放在

spark/conf

目录中来解决。

您应该删除代码中的“.setMaster”（“local”）。

如果您在集群下运行spark作业，请删除spark配置文件中的行

“spark.master”：“local[*]

”

假设在本地pc上运行，包括它

---

Mani

你能粘贴你的spark-defults.conf吗？@user392589你找到了解决方案吗？我在使用stepfunction或lambda调用我的glue作业时遇到了这个问题，但是如果我直接从glue控制台运行它，作业就会成功，有人知道为什么吗？我的问题是：如果用户打算在集群模式下运行作业，为什么要使用“本地”？对于新版本，参数名为

-applicationId

。