Python 遭遇;WARN ProcfsMetricsGetter:尝试计算页面大小时出现异常;运行Spark时出错
我安装了spark,当尝试运行它时,我发现错误: WARN ProcfsMetricsGetter:尝试计算页面大小时发生异常,因为ProcessTree度量的结果报告已停止Python 遭遇;WARN ProcfsMetricsGetter:尝试计算页面大小时出现异常;运行Spark时出错,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我安装了spark,当尝试运行它时,我发现错误: WARN ProcfsMetricsGetter:尝试计算页面大小时发生异常,因为ProcessTree度量的结果报告已停止 有人能帮我吗?同样的问题也发生在我身上,因为python路径没有添加到系统环境中。我在环境中添加了这个,现在它工作得非常好 添加PYTHONPATH环境变量,其值为: %SPARK\u HOME%\python;%SPARK\u HOME%\python\lib\py4j--src.zip;%蟒蛇% 帮助解决了这个问题。
有人能帮我吗?同样的问题也发生在我身上,因为python路径没有添加到系统环境中。我在环境中添加了这个,现在它工作得非常好 添加
PYTHONPATH
环境变量,其值为:
%SPARK\u HOME%\python;%SPARK\u HOME%\python\lib\py4j--src.zip;%蟒蛇%
帮助解决了这个问题。只要检查一下您的
spark/python/lib文件夹中有什么py4j版本
我收到了同样的消息,使用Scala 2.12.10在Windows 10上运行spark 3.0.1。这实际上不是一个错误,因为它结束了程序的执行。这是一个与Linux机器上的/proc文件系统相关的警告
如果您也在Windows计算机上,答案可能是,引用Wing-Yew-Poon@Apache:“出现警告的原因是命令“getconf-PAGESIZE”在Windows上运行,并且它不是有效的命令,因此捕获了异常。”(来自Spark jira问题)
如果您的程序在抛出此异常消息后立即失败,则是由于其他原因。在我的例子中,Spark在发出警告后立即发出以下消息:
20/11/13 12:41:51 ERROR MicroBatchExecution: Query [id = 32320bc7-d7ba-49b4-8a56-1166a4f2d6db, runId = d7cc93c2-41ef-4765-aecd-9cd453c25905] terminated with error
org.apache.spark.SparkException: Job 1 cancelled because SparkContext was shut down
通过将spark.executor.processTreeMetrics.enabled设置为false,可以隐藏此警告。再次引用潘先生的话,“你看到这个警告是一个小错误。但是可以安全地忽略它。”嗨,你有这个问题的解决方案吗,你能告诉我解决方案吗?我知道可能很晚了,但可能这段视频帮助你我遇到了完全相同的问题,改变了路径,做了一切,但仍然得到了相同的信息。然后,我决定采用他的方法,结果成功了