Apache spark Spark应用程序无法在带有纱线的EMR上成功运行

我的spark应用程序在客户机模式下运行良好，主

本地[*]

在EMR上运行，纱线模式也在本地运行

Spark提交命令：

spark-submit --deploy-mode cluster --master yarn \
    --num-executors 3 --executor-cores 1 --executor-memory 2G \
    --conf spark.driver.memory=4G --class my.APP \
    --packages org.apache.spark:spark-core_2.11:2.3.1,org.apache.spark:spark-sql_2.11:2.3.1,org.elasticsearch:elasticsearch-spark-20_2.11:6.2.3,org.apache.spark:spark-mllib_2.11:2.3.1,org.postgresql:postgresql:42.2.4,mysql:mysql-connector-java:8.0.12,org.json4s:json4s-jackson_2.11:3.6.1,org.scalaj:scalaj-http_2.11:2.4.0,org.apache.commons:commons-math3:3.6.1 s3://spark-akshdiu/spark-sandbox_2.11-0.1.jar

它试图运行的行：

val sc=new SparkContext（conf）

我也尝试过

SparkContext.getOrCreate（conf）

，但失败了

这里有一个例外：

18/09/10 09:15:06 INFO Client:
     client token: N/A
     diagnostics: User class threw exception: java.lang.IllegalStateException: Promise already completed.
    at scala.concurrent.Promise$class.complete(Promise.scala:55)
    at scala.concurrent.impl.Promise$DefaultPromise.complete(Promise.scala:153)
    at scala.concurrent.Promise$class.success(Promise.scala:86)
    at scala.concurrent.impl.Promise$DefaultPromise.success(Promise.scala:153)
    at org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$sparkContextInitialized(ApplicationMaster.scala:423)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.sparkContextInitialized(ApplicationMaster.scala:843)
    at org.apache.spark.scheduler.cluster.YarnClusterScheduler.postStartHook(YarnClusterScheduler.scala:32)
    at org.apache.spark.SparkContext.<init>(SparkContext.scala:559)
    at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2493)
    at my.APP$.main(APP.scala:279)
    at my.APP.main(APP.scala)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:498)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$4.run(ApplicationMaster.scala:721)

     ApplicationMaster host: 10.0.104.106
     ApplicationMaster RPC port: 0
     queue: default
     start time: 1536570864212
     final status: FAILED
     tracking URL: http://ip-10-0-104-106.us-west-2.compute.internal:20888/proxy/application_1536569833967_0006/
     user: hadoop
Exception in thread "main" org.apache.spark.SparkException: Application application_1536569833967_0006 finished with failed status
    at org.apache.spark.deploy.yarn.Client.run(Client.scala:1165)
    at org.apache.spark.deploy.yarn.YarnClusterApplication.start(Client.scala:1520)
    at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:894)
    at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:198)
    at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:228)
    at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:137)
    at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
18/09/10 09:15:06 INFO ShutdownHookManager: Shutdown hook called
18/09/10 09:15:06 INFO ShutdownHookManager: Deleting directory /mnt/tmp/spark-896ebe22-bf2d-41ba-b89c-8c3ba9e7cbd0
18/09/10 09:15:06 INFO ShutdownHookManager: Deleting directory /mnt/tmp/spark-c99239b0-880f-49ff-9fb0-b848422ff4fe

18/09/10 09:15:06信息客户端：
客户端令牌：不适用
诊断：用户类引发异常：java.lang.IllegalStateException:承诺已完成。
在scala.concurrent.Promise$class.complete中（Promise.scala:55）
在scala.concurrent.impl.Promise$DefaultPromise.complete处（Promise.scala:153）
在scala.concurrent.Promise$class.success上（Promise.scala:86）
在scala.concurrent.impl.Promise$DefaultPromise.success（Promise.scala:153）
在org.apache.spark.deploy.thread.ApplicationMaster.org$apache$spark$deploy$thread$ApplicationMaster$$sparkContextInitialized（ApplicationMaster.scala:423）
在org.apache.spark.deploy.warn.ApplicationMaster$.sparkContextInitialized上（ApplicationMaster.scala:843）
位于org.apache.spark.scheduler.cluster.yanclusterscheduler.postStartHook（yanclusterscheduler.scala:32）
位于org.apache.spark.SparkContext（SparkContext.scala:559）
位于org.apache.spark.SparkContext$.getOrCreate（SparkContext.scala:2493）
在my.APP$.main上（APP.scala:279）
在my.APP.main（APP.scala）上
在sun.reflect.NativeMethodAccessorImpl.invoke0（本机方法）处
位于sun.reflect.NativeMethodAccessorImpl.invoke（NativeMethodAccessorImpl.java:62）
在sun.reflect.DelegatingMethodAccessorImpl.invoke（DelegatingMethodAccessorImpl.java:43）中
位于java.lang.reflect.Method.invoke（Method.java:498）
位于org.apache.spark.deploy.warn.ApplicationMaster$$anon$4.run（ApplicationMaster.scala:721）
ApplicationMaster主机：10.0.104.106
ApplicationMaster RPC端口：0
队列：默认值
开始时间：1536570864212
最终状态：失败
跟踪URL:http://ip-10-0-104-106.us-west-2.compute.internal:20888/proxy/application_1536569833967_0006/
用户：hadoop
线程“main”org.apache.spark.sparkeException中出现异常：应用程序应用程序_1536569833967_0006已完成，状态为失败
位于org.apache.spark.deploy.warn.Client.run（Client.scala:1165）
位于org.apache.spark.deploy.warn.yanclusterapplication.start（Client.scala:1520）
位于org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain（SparkSubmit.scala:894）
位于org.apache.spark.deploy.SparkSubmit$.doRunMain$1（SparkSubmit.scala:198）
位于org.apache.spark.deploy.SparkSubmit$.submit（SparkSubmit.scala:228）
位于org.apache.spark.deploy.SparkSubmit$.main（SparkSubmit.scala:137）
位于org.apache.spark.deploy.SparkSubmit.main（SparkSubmit.scala）
18/09/10 09:15:06信息关闭挂钩管理器：已调用关闭挂钩
18/09/10 09:15:06信息关机挂钩管理器：删除目录/mnt/tmp/spark-896ebe22-bf2d-41ba-b89c-8c3ba9e7cbd0
18/09/10 09:15:06信息关机挂钩管理器：删除目录/mnt/tmp/spark-c99239b0-880f-49ff-9fb0-b8422ff4fe

---

我在一个主节点上运行它，或者在m5.xlarge中运行1个主节点+2个从节点，但都失败。

尝试通过替换

 --deploy-mode client

---

您是否解决了这个问题？我也有同样的问题……我想我已经解决了，但我忘记了我的解决方案。我已经很久没有使用Spark了。