Apache spark 如果RDD变大，Spark将如何反应？
我们有在ApacheSpark中运行的代码。在详细检查代码之后，我确定我们的一个映射程序正在修改RDD中的对象，而不是为输出制作对象的副本。也就是说，我们有一个dict的RDD，map函数向字典中添加内容，而不是返回新的字典 RDD应该是不可变的。我们的基因正在变异 我们也有内存错误Apache spark 如果RDD变大，Spark将如何反应？,apache-spark,Apache Spark,我们有在ApacheSpark中运行的代码。在详细检查代码之后，我确定我们的一个映射程序正在修改RDD中的对象，而不是为输出制作对象的副本。也就是说，我们有一个dict的RDD，map函数向字典中添加内容，而不是返回新的字典 RDD应该是不可变的。我们的基因正在变异 我们也有内存错误 问题：如果RDD的大小突然增加，Spark会感到困惑吗？虽然它可能不会崩溃，但它可能会导致一些未指定的行为。例如，这个片段 val rdd = sc.parallelize({ val m = new mu
问题：如果RDD的大小突然增加，Spark会感到困惑吗？虽然它可能不会崩溃，但它可能会导致一些未指定的行为。例如，这个片段
val rdd = sc.parallelize({
val m = new mutable.HashMap[Int, Int]
m.put(1, 2)
m
} :: Nil)
rdd.cache() // comment out to change behaviour!
rdd.map(m => {
m.put(2, 3)
m
}).collect().foreach(println) // "Map(2 -> 3, 1 -> 2)"
rdd.collect().foreach(println) // Either "Map(1 -> 2)" or "Map(2 -> 3, 1 -> 2)" depending if caching is used
考虑使用地图条目的
RDD[（K，V）]flatMapmapPartitions从pyspark.sql导入SparkSession
导入时间
计数=5
def funnydir（一）：
“”“返回i的目录”“”
返回{“i”：i，
“gen”：0}
def funnymap（d）：
“”“获取目录并执行funnymap”“”
d['gen']=d.get（'gen'，0）+1
d['id']=id（d）
返回d
如果名称=“\uuuuu main\uuuuuuuu”：
spark=SparkSession.builder.getOrCreate（）
sc=spark.sparkContext
dfroot=sc.parallelize（范围（计数））.map（funnydir）
dfroot.persist（）
df1=dfroot.map（funnymap）
df2=df1.map（funnymap）
df3=df2.map（funnymap）
df4=df3.map（funnymap）
打印（“=============================================================”）
打印（“***df1:”，df1.collect（））
打印（“***df2:，df2.collect（））
打印（“***df3:，df3.collect（））
打印（“***df4:，df4.collect（））
打印（“=============================================================”）
ef1=dfroot.map（funnymap）
ef2=ef1.map（funnymap）
ef3=ef2.map（funnymap）
ef4=ef3.map（funnymap）
打印（“***ef1:，ef1.collect（））
打印（“***ef2:，ef2.collect（））
打印（“***ef3:，ef3.collect（））
打印（“***ef4:，ef4.collect（））
d如果这不是真的，那么第一次调用
funnymapdfroot