Amazon web services 自动将AWS EMR群集缩放为0节点

交叉过帐来源：

哎,

正在尝试将此策略应用于核心实例组：

{
    "Constraints": {
        "MinCapacity": 0,
        "MaxCapacity": 2
    },
    "Rules": [
        {
            "Name": "ScaleUp",
            "Action": {
                "Market": "ON_DEMAND",
                "SimpleScalingPolicyConfiguration": {
                    "AdjustmentType": "EXACT_CAPACITY",
                    "ScalingAdjustment": 5,
                    "CoolDown": 300
                }
            },
            "Trigger": {
                "CloudWatchAlarmDefinition": {
                    "ComparisonOperator": "GREATER_THAN",
                    "MetricName": "AppsPending",
                    "Threshold": 0,
                    "Period": 300
                }
            }
        },
        {
            "Name": "ScaleDown",
            "Action": {
                "Market": "ON_DEMAND",
                "SimpleScalingPolicyConfiguration": {
                    "AdjustmentType": "EXACT_CAPACITY",
                    "ScalingAdjustment": 0,
                    "CoolDown": 300
                }
            },
            "Trigger": {
                "CloudWatchAlarmDefinition": {
                    "ComparisonOperator": "LESS_THAN_OR_EQUAL",
                    "MetricName": "AppsRunning",
                    "Threshold": 0,
                    "Period": 300
                }
            }
        }
    ]
}

但我得到了一个错误：

调用时发生错误（ValidationException） PutAutoScalingPolicy操作：自动缩放约束参数 核心实例组的最小容量应至少为1

我不是EMR方面的专家，但从文档中我认为这是可能的（我可以在UI中手动创建一个仅主集群，为什么会存在这种差异？）。主节点按照cron计划运行作业，当该计划启动时，主节点生成作业，然后自动缩放触发核心实例来处理它，当作业完成时，自动缩放

有什么建议吗

谢谢，亚历克斯

---

另外，为了澄清功能需求，我尝试在master上运行齐柏林飞艇仪表板服务，让它每24小时启动一次批处理作业，这将需要几个节点，然后在剩余时间内缩小到0个节点。如果我有一个错误的结尾，很乐意考虑其他的建议。

< P>这是真的，你可以启动一个节点，只在没有任何核心节点的情况下只进行集群，但是这是一种特殊的“集群”，它运行在主机上的所有东西。不可能从多节点群集过渡到单节点群集，反之亦然。因此，即使在使用自动缩放时，核心实例组也至少有1个实例。

单节点群集不可扩展。您需要至少有一个核心节点和主节点。因此，在应用扩展策略时，核心节点的最小数量应为1

请查找AWS文档中的屏幕截图：

有关更多详细信息，请参阅链接：

---

请尝试将emr群集安排为每24小时运行一次，然后关闭。并编写齐柏林飞艇作业的脚本。单节点群集不可扩展。您需要至少有一个核心节点和主节点。当然，我刚才解释了为什么核心节点的最小数量是1而不是0。核心节点是DataNode进程运行的地方（当不在单个节点集群上运行时），因此如果您能够缩减到0个核心节点，那么您将根本没有HDFS容量。您可能根本不使用HDFS，但其他东西，包括纱线和齐柏林飞艇，正在使用它，并期望它具有容量。