Apache spark 驱动程序没有';t在群集模式下停止

Apache spark 驱动程序没有';t在群集模式下停止,apache-spark,hadoop,bigdata,yarn,Apache Spark,Hadoop,Bigdata,Yarn,我已经配置了集群(1个主集群/9个从集群)。 我的问题是,当我提交应用程序时(通过spark submit使用deploy mode cluster),即使数据很少,驱动程序也不会停止 我是这样提交申请的: ./spark-submit \ --class wordCount \ --master spark://master:6066 --deploy-mode cluster --supervise \ --executor-cores 1 --total-executor-cores 3

我已经配置了集群(1个主集群/9个从集群)。 我的问题是,当我提交应用程序时(通过
spark submit
使用
deploy mode cluster
),即使数据很少,驱动程序也不会停止

我是这样提交申请的:

./spark-submit \
--class wordCount \
--master spark://master:6066 --deploy-mode cluster --supervise \
--executor-cores 1 --total-executor-cores 3 --executor-memory 1g \      
hdfs://master:9000/user/exemple/word3.jar \
hdfs://master:9000/user/exemple/texte.txt
hdfs://master:9000/user/exemple/result 2
这是我的节目:

import org.apache.spark.SparkContext导入
org.apache.spark.SparkContext.\uImport org.apache.spark.SparkConf
对象SparkWordCount{def main(args:Array[String]){
//使用Spark配置创建Spark上下文
val sc=new SparkContext(new SparkConf().setAppName(“火花计数”))
//获取阈值
val阈值=args(1).toInt
//读入文本文件并将每个文档拆分为单词
val tokenized=sc.textFile(args(0)).flatMap(u.split(“”)
//计算每个单词的出现次数
val wordCounts=tokenized.map((,1)).reduceByKey(+)
//筛选出出现次数少于阈值的单词
val filtered=wordCounts.filter(u._2>=阈值)
//计数字符
val charCounts=filtered.flatMap(u._1.toCharArray).map(u,1)).reduceByKey(u+u)
System.out.println(charCounts.collect().mkString(“,”)}
结果:

如果你不提供一个简单的例子,可能很难回答。对不起,这实际上是我的第一篇文章。嗯,我尝试了wordcount(link:)的基本示例,每当我开始操作时,驱动程序(使用我帖子中提到的命令)都不会停止并继续运行,尽管我输入的数据只是一个小样本。哦,别担心:)只是一个建议。您可以使用link来修改您的问题(我们通常期望某种形式的链接),但只要查看链接的代码,缺少的部分可能是
sc.stop()
。只要把它放在主块的末尾,看看它是否解决了问题。你为什么要使用master spark?你没有纱线吗?当我使用纱线时,我有一个异常“既没有设置spark.Thread.jars也没有设置spark.Thread.archive,返回到spark_HOME下上载库。”,我有这个异常“,给定,我试图解决它,但没有找到解决方案