Python 有没有办法自动关闭spark/jupyter会话
我是hadoop管理员和开发人员。我们有一个CDH分布的集群。有多个团队使用该集群,用户不会主动终止spark shell会话或jupyter笔记本会话 与其问用户我在想什么,不如在代码中设置空闲超时或自动关闭配置Python 有没有办法自动关闭spark/jupyter会话,python,scala,pyspark,jupyter,Python,Scala,Pyspark,Jupyter,我是hadoop管理员和开发人员。我们有一个CDH分布的集群。有多个团队使用该集群,用户不会主动终止spark shell会话或jupyter笔记本会话 与其问用户我在想什么,不如在代码中设置空闲超时或自动关闭配置 我在谷歌上搜索过,但没有找到合适的解决方案。如果有人使用过这样的配置共享,这将很有帮助 Jupyter内核会话的空闲超时可以通过内核管理器的cull_Idle_timeout配置(检查:) 如果您通过Livy使用Spark,Livy.server.session.timeout垃圾收
我在谷歌上搜索过,但没有找到合适的解决方案。如果有人使用过这样的配置共享,这将很有帮助 Jupyter内核会话的空闲超时可以通过内核管理器的cull_Idle_timeout配置(检查:)
如果您通过Livy使用Spark,
Livy.server.session.timeout
垃圾收集非活动的Livy会话。这可以在livy下的conf/livy.conf
中指定。默认值为一小时。感谢Naman的回复。实际上,我们从putty开始jupyter课程。我们在.bashrc中添加了几个导出命令。每当我们想要启动任何jupyter会话时,我们只需打开CLI(putty)并运行pyspark或pyspark2,它返回一个URL。在浏览器中复制粘贴此文件将启动jupyter会话。实际上,我尝试将您建议的一个添加到bashrc中,它表示它不是jupyter命令