Apache spark Spark 2性能偶数运行优于奇数运行

Apache spark Spark 2性能偶数运行优于奇数运行,apache-spark,Apache Spark,我正在使用Spark 2.4.3,希望测试其性能。我发现了一个有趣的事实:与下面相同的代码,相同的环境,在spark shell中运行,偶数次运行(2,4,6…)总是比奇数快,例如,第2次运行比第一次快,第3次运行比第二次快。。。。有人知道为什么吗 这段代码将生成随机整数,分配给两个分区并得到一个总数 val r = scala.util.Random val input1 = for (i <- 1 to 10000000) yield r.nextInt val input = sc.

我正在使用Spark 2.4.3,希望测试其性能。我发现了一个有趣的事实:与下面相同的代码,相同的环境,在spark shell中运行,偶数次运行(2,4,6…)总是比奇数快,例如,第2次运行比第一次快,第3次运行比第二次快。。。。有人知道为什么吗

这段代码将生成随机整数,分配给两个分区并得到一个总数

val r = scala.util.Random
val input1 = for (i <- 1 to 10000000) yield r.nextInt
val input = sc.parallelize(input1, 2)

val start = System.currentTimeMillis()
input.reduce((x,y) => x+y)
println((System.currentTimeMillis()-start)+"")
val r=scala.util.Random
val input1=用于(i x+y)
println((System.currentTimeMillis()-start)+“”)

谢谢

你所说的运行是什么意思?全新的spark shell进程或同一spark shell进程中的同一查询?在同一spark shell中,多次运行相同的脚本。是否检查了缓存?