Java Spark是否在其集群中维护哈希函数?

Java Spark是否在其集群中维护哈希函数?,java,scala,object,apache-spark,hashcode,Java,Scala,Object,Apache Spark,Hashcode,forhashCode的 从应用程序的一次执行到同一应用程序的另一次执行,该整数不必保持一致 因此,对于像Spark这样的东西,每个执行器都有单独的JVM,它能确保散列代码在集群中保持一致吗 根据我的经验,我使用确定性哈希,所以这不是一个问题 根据我的经验,我使用确定性哈希,所以这不是一个问题 这确实是一条路,Spark无法克服使用非确定性哈希代码的对象 Java枚举的使用是一个特别臭名昭著的例子,说明了这可能会出错,请参阅:。引用该帖子: 。。。Java枚举类型上的hashCode方法基于对象

for
hashCode

从应用程序的一次执行到同一应用程序的另一次执行,该整数不必保持一致

因此,对于像Spark这样的东西,每个执行器都有单独的JVM,它能确保散列代码在集群中保持一致吗

根据我的经验,我使用确定性哈希,所以这不是一个问题

根据我的经验,我使用确定性哈希,所以这不是一个问题

这确实是一条路,Spark无法克服使用非确定性哈希代码的对象

Java枚举的使用是一个特别臭名昭著的例子,说明了这可能会出错,请参阅:。引用该帖子:

。。。Java枚举类型上的hashCode方法基于对象的内存地址。因此,虽然是的,但我们可以保证相同的枚举值在特定JVM中有一个稳定的哈希代码(因为枚举将是一个静态对象)——当您尝试将Java枚举的哈希代码与不同JVM中相同的值进行比较时,我们没有这个保证