Scala Spark Spark KPI示例

在Spark分发附带的SparkPi示例中，RDD上的

reduce

是并行执行的（每个片段计算其总数），还是不并行执行

val count: Int = spark.sparkContext.parallelize(1 until n, slices).map { i =>
  val x = random * 2 - 1
  val y = random * 2 - 1
  if (x*x + y*y < 1) 1 else 0
}.reduce(_ + _)

val count:Int=spark.sparkContext.parallelize（1到n个切片）。map{i=>
val x=随机*2-1
val y=随机*2-1
如果（x*x+y*y<1）1，则为0
}.减少（u+u）

是的，是的

默认情况下，此示例将在两个切片上操作。因此，您的收藏将分为两部分。然后Spark将在每个分区上并行执行

map

转换和

reduce

操作。最后，Spark将把单个结果合并到最终值中

如果使用默认配置执行示例，则可以在控制台输出中观察2个任务

是的

默认情况下，此示例将在两个切片上操作。因此，您的收藏将分为两部分。然后Spark将在每个分区上并行执行

map

转换和

reduce

操作。最后，Spark将把单个结果合并到最终值中

如果使用默认配置执行示例，则可以在控制台输出中观察2个任务

酷！因此，无需“聪明”并发送闭包来计算每个执行器的小计，而不是使用

reduce

。我喜欢它，只要相信火花：-）酷！因此，无需“聪明”并发送闭包来计算每个执行器的小计，而不是使用

reduce

。我喜欢，只要相信Spark:-）