Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/338.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 有没有办法自动关闭spark/jupyter会话_Python_Scala_Pyspark_Jupyter - Fatal编程技术网

Python 有没有办法自动关闭spark/jupyter会话

Python 有没有办法自动关闭spark/jupyter会话,python,scala,pyspark,jupyter,Python,Scala,Pyspark,Jupyter,我是hadoop管理员和开发人员。我们有一个CDH分布的集群。有多个团队使用该集群,用户不会主动终止spark shell会话或jupyter笔记本会话 与其问用户我在想什么,不如在代码中设置空闲超时或自动关闭配置 我在谷歌上搜索过,但没有找到合适的解决方案。如果有人使用过这样的配置共享,这将很有帮助 Jupyter内核会话的空闲超时可以通过内核管理器的cull_Idle_timeout配置(检查:) 如果您通过Livy使用Spark,Livy.server.session.timeout垃圾收

我是hadoop管理员和开发人员。我们有一个CDH分布的集群。有多个团队使用该集群,用户不会主动终止spark shell会话或jupyter笔记本会话

与其问用户我在想什么,不如在代码中设置空闲超时或自动关闭配置


我在谷歌上搜索过,但没有找到合适的解决方案。如果有人使用过这样的配置共享,这将很有帮助

Jupyter内核会话的空闲超时可以通过内核管理器的cull_Idle_timeout配置(检查:)


如果您通过Livy使用Spark,
Livy.server.session.timeout
垃圾收集非活动的Livy会话。这可以在livy下的
conf/livy.conf
中指定。默认值为一小时。

感谢Naman的回复。实际上,我们从putty开始jupyter课程。我们在.bashrc中添加了几个导出命令。每当我们想要启动任何jupyter会话时,我们只需打开CLI(putty)并运行pyspark或pyspark2,它返回一个URL。在浏览器中复制粘贴此文件将启动jupyter会话。实际上,我尝试将您建议的一个添加到bashrc中,它表示它不是jupyter命令