Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/cocoa/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Python 僵尸齐柏林飞艇火花过程的来源是什么?_Python_Apache Spark_Pyspark_Apache Zeppelin_Zombie Process - Fatal编程技术网

Python 僵尸齐柏林飞艇火花过程的来源是什么?

Python 僵尸齐柏林飞艇火花过程的来源是什么?,python,apache-spark,pyspark,apache-zeppelin,zombie-process,Python,Apache Spark,Pyspark,Apache Zeppelin,Zombie Process,当您有多个人使用齐柏林飞艇(0.7.3)笔记本在集群上制作原型时,您可能会在驱动程序上遇到很多问题 下面是一个类似的示例: [username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin ... username 15163 0.0 0.0 783244 112076 ? Sl Aug29 0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-2947318406

当您有多个人使用齐柏林飞艇(0.7.3)笔记本在集群上制作原型时,您可能会在驱动程序上遇到很多问题

下面是一个类似的示例:

[username@usg-kov-e1b-mas001 ~]$ ps -aux | grep zeppelin
...
username  15163  0.0  0.0 783244 112076 ?       Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-294731840633169153.py 46864 10603
username  16364  0.0  2.3 4637180 2859000 ?     Sl   Aug29   1:30 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-4967700381049549623.py 34141 10603
username  17328  0.0  0.0 572336 68892 ?        Sl   Aug29   0:16 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5558242373873465119.py 43031 10603
username  23360  0.3  0.2 1029820 347676 ?      Sl   17:37   0:35 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-5094022153210101706.py 35280 10603
username  26414  0.0  0.0 571972 68624 ?        Sl   Aug29   0:14 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-1324142653437864728.py 46682 10603
username  28850  0.0  0.0 572332 68804 ?        Sl   19:23   0:01 /opt/zeppelin-env/bin/python /tmp/zeppelin_pyspark-6914433048347435534.py 34529 10603
...
你可以看到它们随着时间的推移而不断积累。它们中的大多数最多只占用一两分钟的CPU时间,但它们不会消失。随着时间的推移,我看到它们占用了10%或更多的可用内存


这些是从哪里来的?什么东西没能把这些清理干净?是否有什么(进程谋杀cron作业除外)我可以消除它们?

您可以尝试在解释器对于配置的阈值空闲时终止解释器的方法

您可以尝试在解释器对于配置的阈值空闲时终止解释器的方法

谢谢。我想我应该指定我仍然在0.7。我不需要考虑升级。谢谢。我想我应该指定我仍然在0.7。我不需要考虑升级。