Apache spark 齐柏林飞艇Pypspark:&x27;JavaMember';对象没有属性';parseDataType';

Apache spark 齐柏林飞艇Pypspark:&x27;JavaMember';对象没有属性';parseDataType';,apache-spark,pyspark,apache-zeppelin,Apache Spark,Pyspark,Apache Zeppelin,这个简单的PySpark代码段在正常的spark submit中运行良好,但在apachezeppelin的cast调用中失败。有什么想法吗 %pyspark import pyspark.sql.functions as spark_functions col1 = spark_functions.lit(None) print("type(col1)={}".format(type(col1))) col2 = col1.cast(StringType()) 错误是: Traceback

这个简单的PySpark代码段在正常的spark submit中运行良好,但在apachezeppelin的
cast
调用中失败。有什么想法吗

%pyspark
import pyspark.sql.functions as spark_functions

col1 = spark_functions.lit(None)
print("type(col1)={}".format(type(col1)))
col2 = col1.cast(StringType())
错误是:

Traceback (most recent call last):
  File "/tmp/zeppelin_pyspark-6046223946582899049.py", line 252, in <module>
    eval(compiledCode)
  File "<string>", line 14, in <module>
  File "/usr/lib/spark/python/pyspark/sql/column.py", line 334, in cast
    jdt = ctx._ssql_ctx.parseDataType(dataType.json())
AttributeError: 'JavaMember' object has no attribute 'parseDataType'
回溯(最近一次呼叫最后一次):
文件“/tmp/zeppelin_pyspark-6046223946582899049.py”,第252行,在
评估(编译代码)
文件“”,第14行,在
文件“/usr/lib/spark/python/pyspark/sql/column.py”,第334行,强制转换
jdt=ctx.\u ssql\u ctx.parseDataType(dataType.json())
AttributeError:'JavaMember'对象没有属性'parseDataType'

这是齐柏林飞艇0.6.1上的Spark 2.0已知错误,目标是在齐柏林飞艇0.6.2中修复:

这是齐柏林飞艇0.6.1上的Spark 2.0已知错误,目标是在齐柏林飞艇0.6.2中修复: