Java 调整正在运行的EMR集群的大小是否会加快现有正在运行的作业的执行
我正在运行一个具有25个节点的EMR群集,并且一个作业连续运行15-20分钟。我意识到这还需要30-40分钟,所以我在集群中又添加了10个任务节点。但我没有看到任何改善Java 调整正在运行的EMR集群的大小是否会加快现有正在运行的作业的执行,java,amazon-web-services,amazon-s3,mapreduce,emr,Java,Amazon Web Services,Amazon S3,Mapreduce,Emr,我正在运行一个具有25个节点的EMR群集,并且一个作业连续运行15-20分钟。我意识到这还需要30-40分钟,所以我在集群中又添加了10个任务节点。但我没有看到任何改善 添加这些额外的任务节点是否会增加当前作业中并发映射程序的执行,或者额外的节点将仅用于调整大小后启动的作业?这取决于MapReduce作业的结构。如果存在挂起的任务,则将使用其他节点。如果作业根据集群的原始大小确定其任务数,则在提交新作业之前,其他节点不会产生影响 任务数的计算总是事先完成的。这就是为什么控制台总是显示成功、挂起和
添加这些额外的任务节点是否会增加当前作业中并发映射程序的执行,或者额外的节点将仅用于调整大小后启动的作业?这取决于MapReduce作业的结构。如果存在挂起的任务,则将使用其他节点。如果作业根据集群的原始大小确定其任务数,则在提交新作业之前,其他节点不会产生影响 任务数的计算总是事先完成的。这就是为什么控制台总是显示成功、挂起和正在运行的任务数的计数器。我的意思是,某些作业将MapReduce任务数与可能的最大并发任务数相匹配。在这种情况下,添加节点不会产生任何影响。对于这种情况,这是有意义的。但您确定对于挂起的任务,EMR会将它们安排到新的任务节点吗?尽管如此,我在运行EMR工作时没有看到性能改进。