Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop Spark无法在纱线束模式下运行_Hadoop_Apache Spark_Yarn - Fatal编程技术网

Hadoop Spark无法在纱线束模式下运行

Hadoop Spark无法在纱线束模式下运行,hadoop,apache-spark,yarn,Hadoop,Apache Spark,Yarn,我试图在一个纱线集群上执行我的代码 我使用的命令是 $SPARK_HOME/bin/spark-submit \ --class "MyApp" \ target/scala-2.10/my-application_2.10-1.0.jar \ --master yarn-cluster \ --num-executors 3 \ --driver-memory 6g \ --executor-memory 7g \ <outputP

我试图在一个纱线集群上执行我的代码

我使用的命令是

$SPARK_HOME/bin/spark-submit \
    --class "MyApp" \
    target/scala-2.10/my-application_2.10-1.0.jar \
    --master yarn-cluster \
    --num-executors 3 \
    --driver-memory 6g \
    --executor-memory 7g \
    <outputPath>
$SPARK\u主页/bin/SPARK提交\
--类“MyApp”\
target/scala-2.10/my-application_2.10-1.0.jar\
--母纱团\
--num执行者3\
--驱动器存储器6g\
--执行器存储器7g\
但是,我可以看到这个程序只在本地主机上运行

它能够从hdfs读取文件

我已经在独立模式下尝试过,效果很好


请指出哪里出了问题。

我正在使用Hadoop2.4和Spark 1.1.0。我能够让它在集群模式下运行

为了解决这个问题,我们只需从所有从节点删除所有配置文件。早些时候,我们在独立模式下运行,这导致在所有从机上复制配置。完成后,它将按预期在集群模式下运行。虽然性能不符合独立模式


谢谢

Spark Web UI是怎么说的?您是如何在应用程序中加载文件的?如果您使用的是特定的大数据平台和集群架构,您能否与我们共享?