Apache spark 火花流在纱线上的应用
我们正在使用cloudera定义的集群上运行纱线集群上的spark streaming应用程序。 我们将其中一个节点定义为spark gateway，并从该节点运行spark submit命令。 我们想测试集群的HA，通过测试，我们可以测试当不同节点崩溃（我们停止它们）时会发生什么。 我们看到，当我们停止驱动程序节点时，应用程序仍然继续运行，但它什么也不做，当查看“纱线列表”时，它仍然将停止的节点写入驱动程序节点。当我们重新启动节点时，应用程序将返回工作，驱动程序节点将更改为另一个节点，但这仅在节点备份时发生。驱动程序节点一死，纱线不应该立即将驱动程序更改为另一个节点吗？ 我们还看到，如果我们杀死spark网关节点，应用程序就会停止。 我们如何运行应用程序，使其不会出现任何单点故障转移Apache spark 火花流在纱线上的应用,apache-spark,spark-streaming,yarn,high-availability,Apache Spark,Spark Streaming,Yarn,High Availability,我们正在使用cloudera定义的集群上运行纱线集群上的spark streaming应用程序。 我们将其中一个节点定义为spark gateway，并从该节点运行spark submit命令。 我们想测试集群的HA，通过测试，我们可以测试当不同节点崩溃（我们停止它们）时会发生什么。 我们看到，当我们停止驱动程序节点时，应用程序仍然继续运行，但它什么也不做，当查看“纱线列表”时，它仍然将停止的节点写入驱动程序节点。当我们重新启动节点时，应用程序将返回工作，驱动程序节点将更改为另一个节点，但这仅在