Apache spark 带参数的默认Spark侦听器
我开发了一个SparkListener库，用于在拥有数百名用户的集群上记录某些操作 因为，我需要在我的库中使用SparkContext（以获取我的逻辑所需的一些对象），所以我必须在我想要运行的Spark代码上手动注册侦听器 此时，我需要为集群上的所有作业注册此侦听器，问题是我无法使用Spark.extraListeners配置来注册，因为该配置需要一个无参数的构造函数 因此，我唯一的两个选择是：Apache spark 带参数的默认Spark侦听器,apache-spark,pyspark,Apache Spark,Pyspark,我开发了一个SparkListener库，用于在拥有数百名用户的集群上记录某些操作 因为，我需要在我的库中使用SparkContext（以获取我的逻辑所需的一些对象），所以我必须在我想要运行的Spark代码上手动注册侦听器 此时，我需要为集群上的所有作业注册此侦听器，问题是我无法使用Spark.extraListeners配置来注册，因为该配置需要一个无参数的构造函数 因此，我唯一的两个选择是： 1. Find a way to register a default Listener send
1. Find a way to register a default Listener sending the SparkContext; or
2. Find a way to "inject": sc.RegisterListener(myClass) upon initialization of all jobs.