Python 僵尸齐柏林飞艇火花过程的来源是什么?
当您有多个人使用齐柏林飞艇(0.7.3)笔记本在集群上制作原型时,您可能会在驱动程序上遇到很多问题 下面是一个类似的示例:Python 僵尸齐柏林飞艇火花过程的来源是什么?,python,apache-spark,pyspark,apache-zeppelin,zombie-process,Python,Apache Spark,Pyspark,Apache Zeppelin,Zombie Process,当您有多个人使用齐柏林飞艇(0.7.3)笔记本在集群上制作原型时,您可能会在驱动程序上遇到很多问题 下面是一个类似的示例: [username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin ... username 15163 0.0 0.0 783244 112076 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-2947318406
[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username 15163 0.0 0.0 783244 112076 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username 16364 0.0 2.3 4637180 2859000 ? Sl Aug29 1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username 17328 0.0 0.0 572336 68892 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username 23360 0.3 0.2 1029820 347676 ? Sl 17:37 0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username 26414 0.0 0.0 571972 68624 ? Sl Aug29 0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username 28850 0.0 0.0 572332 68804 ? Sl 19:23 0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...
你可以看到它们随着时间的推移而不断积累。它们中的大多数最多只占用一两分钟的CPU时间,但它们不会消失。随着时间的推移,我看到它们占用了10%或更多的可用内存
这些是从哪里来的?什么东西没能把这些清理干净?是否有什么(进程谋杀cron作业除外)我可以消除它们?您可以尝试在解释器对于配置的阈值空闲时终止解释器的方法您可以尝试在解释器对于配置的阈值空闲时终止解释器的方法谢谢。我想我应该指定我仍然在0.7。我不需要考虑升级。谢谢。我想我应该指定我仍然在0.7。我不需要考虑升级。