Apache spark 当没有作业运行时,齐柏林飞艇将占用CPU的所有资源

Apache spark 当没有作业运行时,齐柏林飞艇将占用CPU的所有资源,apache-spark,apache-zeppelin,Apache Spark,Apache Zeppelin,我用二进制软件包安装齐柏林飞艇和所有的解释器,版本是0.7.3。在我运行了一些spark作业之后,当所有作业都完成后,我发现齐柏林飞艇仍然在运行,占用了CPU的所有资源,但没有运行spark作业。有人知道发生了什么或如何调试吗?我建议您尝试以下操作: 删除笔记本中除spark以外的所有口译员 打开齐柏林飞艇spark UI(转到spark解释器设置并从那里打开),检查作业的状态,确保没有其他作业正在运行 Zeppelin保留Spark驱动程序上下文,并将所有查询结果缓存在MemoryWellco

我用二进制软件包安装齐柏林飞艇和所有的解释器,版本是0.7.3。在我运行了一些spark作业之后,当所有作业都完成后,我发现齐柏林飞艇仍然在运行,占用了CPU的所有资源,但没有运行spark作业。有人知道发生了什么或如何调试吗?

我建议您尝试以下操作:

  • 删除笔记本中除spark以外的所有口译员
  • 打开齐柏林飞艇spark UI(转到spark解释器设置并从那里打开),检查作业的状态,确保没有其他作业正在运行

  • Zeppelin保留Spark驱动程序上下文,并将所有查询结果缓存在MemoryWellcome中。请参观一下,您应该在适合您的时间间隔内重新启动齐柏林飞艇,释放它所拥有的内存。它不占用太多内存,只占用CPU的所有资源。我已删除除spark之外的所有解释器,并确认spark UI中没有作业运行。它不起作用。