Apache spark Apache Spark中的舞台是什么？

因此，我理解阶段是在同一节点中工作的一组任务

---

那么，为什么我在本地工作时会得到两个阶段呢？

阶段是一组并行任务，每个分区一个任务。 stage的数量由shuffle/wide转换的数量定义

---

因此，回到您的案例，如果您有洗牌操作，那么它将导致两个阶段。

阶段是根据（除其他规则外）独立的任务集（转换和操作*）创建的。也许您有两个独立的、不相关的流，它们可以并行执行。你能分享你的代码吗？我可以更精确它的简单实际上

val input=sc.textFile（“log.txt”）val splitedLines=input.map（line=>line.split（“”））.map（words=>（words（0，1））.reduceByKey{（a，b）=>a+b}