Hadoop Spark无法在纱线束模式下运行
我试图在一个纱线集群上执行我的代码 我使用的命令是Hadoop Spark无法在纱线束模式下运行,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,我试图在一个纱线集群上执行我的代码 我使用的命令是 $SPARK_HOME/bin/spark-submit \ --class "MyApp" \ target/scala-2.10/my-application_2.10-1.0.jar \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 6g \ --executor-memory 7g \ <outputP
$SPARK_HOME/bin/spark-submit \
--class "MyApp" \
target/scala-2.10/my-application_2.10-1.0.jar \
--master yarn-cluster \
--num-executors 3 \
--driver-memory 6g \
--executor-memory 7g \
<outputPath>
$SPARK\u主页/bin/SPARK提交\
--类“MyApp”\
target/scala-2.10/my-application_2.10-1.0.jar\
--母纱团\
--num执行者3\
--驱动器存储器6g\
--执行器存储器7g\
但是,我可以看到这个程序只在本地主机上运行
它能够从hdfs读取文件
我已经在独立模式下尝试过,效果很好
请指出哪里出了问题。我正在使用Hadoop2.4和Spark 1.1.0。我能够让它在集群模式下运行 为了解决这个问题,我们只需从所有从节点删除所有配置文件。早些时候,我们在独立模式下运行,这导致在所有从机上复制配置。完成后,它将按预期在集群模式下运行。虽然性能不符合独立模式
谢谢 Spark Web UI是怎么说的?您是如何在应用程序中加载文件的?如果您使用的是特定的大数据平台和集群架构,您能否与我们共享?