Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark Sql执行是否使用线程本地作业组?_Apache Spark - Fatal编程技术网

Apache spark Spark Sql执行是否使用线程本地作业组?

Apache spark Spark Sql执行是否使用线程本地作业组?,apache-spark,Apache Spark,根据我的发现,使用不同的作业组运行多个SparkSql不会将它们放在指定的组中。 创建新的threadlocal作业组适用于spark数据帧作业,但不适用于sparksql。有没有办法将所有threadlocal spark sql执行放在一个单独的作业组中 val sparkThreadLocal: SparkSession = DataCurator.spark.newSession() sparkThreadLocal.sparkContext.setJobGroup("<id&

根据我的发现,使用不同的作业组运行多个SparkSql不会将它们放在指定的组中。

创建新的threadlocal作业组适用于spark数据帧作业,但不适用于sparksql。有没有办法将所有threadlocal spark sql执行放在一个单独的作业组中

val sparkThreadLocal: SparkSession = DataCurator.spark.newSession()

sparkThreadLocal.sparkContext.setJobGroup("<id>", "<description>")

OR

sparkThreadLocal.sparkContext.setLocalProperty("spark.job.description", "<id>")
sparkThreadLocal.sparkContext.setLocalProperty("spark.jobGroup.id", "<description>")
val sparkThreadLocal:SparkSession=DataCurator.spark.newSession()
sparkThreadLocal.sparkContext.setJobGroup(“,”)
或
sparkThreadLocal.sparkContext.setLocalProperty(“spark.job.description”,“”)
sparkThreadLocal.sparkContext.setLocalProperty(“spark.jobGroup.id”,”)

已解决!使用scala并行迭代是一个问题,它使用线程池