Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Spring boot 如果使用弹簧靴,我应该使用spark submit吗_Spring Boot_Apache Spark_Spark Submit - Fatal编程技术网

Spring boot 如果使用弹簧靴,我应该使用spark submit吗

Spring boot 如果使用弹簧靴,我应该使用spark submit吗,spring-boot,apache-spark,spark-submit,Spring Boot,Apache Spark,Spark Submit,spark提交的目的是什么?在我看来,它只是向类路径添加属性和JAR。 如果我使用的是spring boot,我可以避免使用spark submit,只需打包一个胖罐子,里面包含我想要的spark.master等所有属性 ppl能看出这样做有什么坏处吗?最近我遇到了同样的情况——我还尝试坚持使用spring boot exec jar,但不幸的是最终失败了,但我快结束了。我放弃时的状态是-spring boot jar构建时没有包含spark/hadoop libs,我在一个集群上运行它,集群上

spark提交的目的是什么?在我看来,它只是向类路径添加属性和JAR。 如果我使用的是spring boot,我可以避免使用spark submit,只需打包一个胖罐子,里面包含我想要的spark.master等所有属性


ppl能看出这样做有什么坏处吗?

最近我遇到了同样的情况——我还尝试坚持使用spring boot exec jar,但不幸的是最终失败了,但我快结束了。我放弃时的状态是-spring boot jar构建时没有包含spark/hadoop libs,我在一个集群上运行它,集群上有-Dloader.path='spark/hadoop libs list,摘自集群上的spark\u HOME和hadoop\u HOME'。我最终使用了2d选项——使用着色插件构建胖jar,并通过spark submit像往常一样运行它,这似乎是一个有点奇怪的解决方案,但仍然可以正常工作