Apache spark Spark Sql执行是否使用线程本地作业组?
根据我的发现,使用不同的作业组运行多个SparkSql不会将它们放在指定的组中。 创建新的threadlocal作业组适用于spark数据帧作业,但不适用于sparksql。有没有办法将所有threadlocal spark sql执行放在一个单独的作业组中Apache spark Spark Sql执行是否使用线程本地作业组?,apache-spark,Apache Spark,根据我的发现,使用不同的作业组运行多个SparkSql不会将它们放在指定的组中。 创建新的threadlocal作业组适用于spark数据帧作业,但不适用于sparksql。有没有办法将所有threadlocal spark sql执行放在一个单独的作业组中 val sparkThreadLocal: SparkSession = DataCurator.spark.newSession() sparkThreadLocal.sparkContext.setJobGroup("<id&
val sparkThreadLocal: SparkSession = DataCurator.spark.newSession()
sparkThreadLocal.sparkContext.setJobGroup("<id>", "<description>")
OR
sparkThreadLocal.sparkContext.setLocalProperty("spark.job.description", "<id>")
sparkThreadLocal.sparkContext.setLocalProperty("spark.jobGroup.id", "<description>")
val sparkThreadLocal:SparkSession=DataCurator.spark.newSession()
sparkThreadLocal.sparkContext.setJobGroup(“,”)
或
sparkThreadLocal.sparkContext.setLocalProperty(“spark.job.description”,“”)
sparkThreadLocal.sparkContext.setLocalProperty(“spark.jobGroup.id”,”)
已解决!使用scala并行迭代是一个问题,它使用线程池