Hadoop “火花束”；循环制；纱线负荷
我正在做一个火花工作的基准测试。在第一个阶段（仅映射和过滤），当阶段大约为50%时，所有节点上的平均负载都会减少，但在我的节点中有一些“循环”负载：将逐个使用（cf ganglia graphics:green、next blue、next橙色……） 为什么我的节点现在在同一阶段逐一使用？是因为我的内存满了还是什么 工作台具有以下特点：Hadoop “火花束”；循环制；纱线负荷,hadoop,apache-spark,yarn,benchmarking,Hadoop,Apache Spark,Yarn,Benchmarking,我正在做一个火花工作的基准测试。在第一个阶段（仅映射和过滤），当阶段大约为50%时，所有节点上的平均负载都会减少，但在我的节点中有一些“循环”负载：将逐个使用（cf ganglia graphics:green、next blue、next橙色……） 为什么我的节点现在在同一阶段逐一使用？是因为我的内存满了还是什么 工作台具有以下特点： 采用HDFS的纱线火花1.6 10个节点，每个节点具有1.5TB、60GB RAM和16个核心 8.5TB的数据（复制1） 谢谢
- 采用HDFS的纱线火花1.6
- 10个节点，每个节点具有1.5TB、60GB RAM和16个核心
- 8.5TB的数据（复制1）