Apache spark AWS:EMR具有多主节点设置。如何获取活动主节点

Apache spark AWS:EMR具有多主节点设置。如何获取活动主节点,apache-spark,amazon-emr,livy,Apache Spark,Amazon Emr,Livy,目前在AWS中有多主节点设置。Livy安装在所有3个节点上。在三个主节点中,是否有任何端点可以判断哪一个是当前活动的节点。正在尝试通过LIVY运行spark作业 你可以做aws emr描述集群——集群id j-1K48XXXXXHCB。你也可以用JavaAPI/python api做同样的事情 livy可以配置为使用zookeeper。这意味着你可以旋转3个zoo节点并在上面配置livy:--这意味着你可以向任何livy提交作业(不过我还没有尝试过) 你考虑过AWS胶吗?它还具有连接作业的工作流

目前在AWS中有多主节点设置。Livy安装在所有3个节点上。在三个主节点中,是否有任何端点可以判断哪一个是当前活动的节点。正在尝试通过LIVY运行spark作业

  • 你可以做aws emr描述集群——集群id j-1K48XXXXXHCB。你也可以用JavaAPI/python api做同样的事情
  • livy可以配置为使用zookeeper。这意味着你可以旋转3个zoo节点并在上面配置livy:--这意味着你可以向任何livy提交作业(不过我还没有尝试过)
  • 你考虑过AWS胶吗?它还具有连接作业的工作流。胶水与py spark、scala spark向后兼容 除非您希望全天候使用EMR;而且在80%以上的集群CPU上使用它,集群内存AWS glue是一个更好的选择。请记住,虽然AWS说EMR是一种管理解决方案,但您仍然需要进行大小调整、检查弹性等