Fatal编程技术网
  • java/
  • Java Spark和静态资源的延迟加载

Java Spark和静态资源的延迟加载

java scala apache-spark

Java Spark和静态资源的延迟加载,java,scala,apache-spark,lazy-loading,Java,Scala,Apache Spark,Lazy Loading,我有一个延迟加载的静态java类-它公开了一个方法getValue（Key）。在第一次调用getValue时，它加载一些数据并进行一些相对昂贵的计算。随后的通话速度非常快。我（在Scala中）还有一个RDD[Key]，RDD，我想按照RDD.map（StaticClass.getKey）的思路做一些事情。我的问题是：StaticClass闭包的序列化是否包括资源数据，因此意味着这些数据将在网络中被洗牌？或者只在执行人身上加载（我想这是我想要的）

我有一个延迟加载的静态java类-它公开了一个方法
getValue（Key）
。在第一次调用
getValue
时，它加载一些数据并进行一些相对昂贵的计算。随后的通话速度非常快。我（在Scala中）还有一个RDD[Key]，
RDD
，我想按照
RDD.map（StaticClass.getKey）
的思路做一些事情。我的问题是：
StaticClass
闭包的序列化是否包括资源数据，因此意味着这些数据将在网络中被洗牌？或者只在执行人身上加载（我想这是我想要的）