Python 如何解决使用Pyspark提交spark时的spark processnext（）错误_Python_Apache Spark_Pyspark

Python 如何解决使用Pyspark提交spark时的spark processnext（）错误

python apache-spark pyspark

Python 如何解决使用Pyspark提交spark时的spark processnext（）错误,python,apache-spark,pyspark,Python,Apache Spark,Pyspark,我正在运行spark提交Pyspark作业，最近经常遇到这个错误。有人知道这是否可以通过设置解决吗错误codegen.CodeGenerator:未能编译： org.codehaus.janino.InternalCompilerException:编译 “GeneratedClass”：方法“processNext”的代码（）V“类 “org.apache.spark.sql.catalyst.expressions.GeneratedClass$GenerateEditorForCode

我正在运行spark提交Pyspark作业，最近经常遇到这个错误。有人知道这是否可以通过设置解决吗

错误codegen.CodeGenerator:未能编译： org.codehaus.janino.InternalCompilerException:编译 “GeneratedClass”：方法“processNext”的代码
（）V“类 “org.apache.spark.sql.catalyst.expressions.GeneratedClass$GenerateEditorForCodeGenStage1” 增长超过64 KB org.codehaus.janino.InternalCompilerException：编译“GeneratedClass”：类的“processNext（）V”方法代码 “org.apache.spark.sql.catalyst.expressions.Generated
类$GenerateEditorForCodeGenStage1“增长超过64 KB

有帮助吗？有帮助吗？