Apache spark 为什么每个任务都有巨大的运行时间开销？
Apache spark 为什么每个任务都有巨大的运行时间开销？,apache-spark,Apache Spark,为什么slave4花费的时间太多，而slave5和slave8花费的时间太少？尽管slave4的硬件比其他两个节点都旧，但花费时间的差异如此巨大，为什么？如果没有作业代码，我无法100%确定，但我会假设您已经进行了一些分组，而不是先进行缩减 似乎除了slave4之外，每个节点都将所有数据发送给slave4，他完成了所有计算 这是行乞时很常见的错误。您能提供我们更多的细节吗？您正在使用的代码示例。从截图上看，似乎有不同的任务在运行。
为什么slave4花费的时间太多，而slave5和slave8花费的时间太少？尽管slave4的硬件比其他两个节点都旧，但花费时间的差异如此巨大，为什么？如果没有作业代码，我无法100%确定，但我会假设您已经进行了一些分组，而不是先进行缩减 似乎除了slave4之外，每个节点都将所有数据发送给slave4，他完成了所有计算
这是行乞时很常见的错误。您能提供我们更多的细节吗？您正在使用的代码示例。从截图上看，似乎有不同的任务在运行。