Apache spark 在负载平衡器后面的Spark Thread客户端模式，该负载平衡器丢弃非活动TCP连接
我正在客户模式下运行Spark on Thread。驱动程序通过负载平衡器与ApplicationMaster分离，负载平衡器在5分钟后终止非活动TCP连接。这会在5分钟后杀死活跃的纱线作业 这是因为。然后，只有当执行器的数量增加或减少时，它才会通过该连接发送消息。这可能不会每五分钟发生一次。在最后一次RPC调用五分钟后，负载平衡器由于不活动而终止RPC连接，并且在RPC连接上调用onDisconnected方法，终止任务 这是一个公司环境，我不可能更改关于删除非活动TCP会话的负载平衡器行为。我可以在纱线作业不活动5分钟后进行计时，但运行作业不应终止 我怀疑正确的方法是使用。但是，我使用的Spark版本还没有提供此功能Apache spark 在负载平衡器后面的Spark Thread客户端模式，该负载平衡器丢弃非活动TCP连接,apache-spark,tcp,yarn,rpc,Apache Spark,Tcp,Yarn,Rpc,我正在客户模式下运行Spark on Thread。驱动程序通过负载平衡器与ApplicationMaster分离，负载平衡器在5分钟后终止非活动TCP连接。这会在5分钟后杀死活跃的纱线作业 这是因为。然后，只有当执行器的数量增加或减少时，它才会通过该连接发送消息。这可能不会每五分钟发生一次。在最后一次RPC调用五分钟后，负载平衡器由于不活动而终止RPC连接，并且在RPC连接上调用onDisconnected方法，终止任务 这是一个公司环境，我不可能更改关于删除非活动TCP会话的负载平衡器行为。
有什么方法可以解决这个问题，而不用在RPC会话中手动实现keepalive或heartbeat机制的Spark版本？我可以通过路由流量通过负载平衡器来解决这个问题。我可以通过路由流量通过负载平衡器来解决这个问题