Apache spark 如何确定Apache Livy'；s"；允许的最大活动会话计数“；？

比如说，我想为提交给Theread的每个Spark作业创建一个会话。每个连接都有一个唯一的用户，该用户不断轮询状态并向会话发布语句。我如何计算，在任何给定的时间，Livy可以有多少个活动会话？是否基于我配置的livy.spark.driver大小？此计算中涉及的所有其他参数是什么？

yarn有一个利用AM容器的调度程序，livy将使用群集/独立服务器上的可用资源初始化yarn上接受的请求。 看见 应将livy-client.conf配置为处理长时间运行的作业以产生响应

livy-client.conf 取消作业的状态检查间隔时间

livy.rsc.job-cancel.trigger-interval=100ms 作业被强制进入取消状态之前的时间

livy.rsc.job-cancel.timeout=60m 下面是一个示例代码，您应该从输出中筛选状态：繁忙会话

import requests

host = "{livy_host}:8998"
sessions = requests.get(host + '/sessions/')

输出 b'{“from”：0，“total”：1，“sessions”：[{“id”：3，“appId”：“application_1566223151385_0085”，“owner”：null，“proxyUser”：null，“state”：“busy”，“kind”：“pyspark”，“appInfo”：“{”driverLogUrl:“{livy_host}:8042/node/containerlogs/container_e182_15662151385_0085_01_000001/mapr”，“sparkurl”：“{livy_主机：8088/proxy/applicationĂ158; 158; 158;][

sum(session['state'] == 'busy' for session in sessions.json()['sessions'])