Amazon web services 将从AWS控制台手动调整正在运行的群集的大小,而不是停用和调试

Amazon web services 将从AWS控制台手动调整正在运行的群集的大小,而不是停用和调试,amazon-web-services,hadoop2,oozie,emr,Amazon Web Services,Hadoop2,Oozie,Emr,从AWS控制台手动调整运行集群的大小是否会在内部使用调试和解除调试过程 我们正在研究EMR集群,在这里我们从aws控制台手动调整集群大小,这有时会导致缺少/user/oozie/share/lib/jars。我研究了这个问题,发现在Hadoop中调试和停用Datanode是调整节点大小和避免集群损坏的最佳方法。 当我从aws控制台调整集群大小时,如何做到这一点?aws控制台是否在内部维护此功能?是,EMR缩小,无论是手动自动缩放,都将在终止节点之前调用HDFS/纱线退役过程。这将确保HDFS数据

从AWS控制台手动调整运行集群的大小是否会在内部使用调试和解除调试过程

我们正在研究EMR集群,在这里我们从aws控制台手动调整集群大小,这有时会导致缺少/user/oozie/share/lib/jars。我研究了这个问题,发现在Hadoop中调试和停用Datanode是调整节点大小和避免集群损坏的最佳方法。
当我从aws控制台调整集群大小时,如何做到这一点?aws控制台是否在内部维护此功能?

是,EMR缩小,无论是手动自动缩放,都将在终止节点之前调用HDFS/纱线退役过程。这将确保HDFS数据不会丢失,运行的纱线作业不会突然停止。 见:

对于放大,只需简单地启动DataNode和NM守护进程,并为master提供正确的配置即可注册它们