pyspark:在jar文件中找不到命名空间

pyspark:在jar文件中找不到命名空间,jar,pyspark,namespaces,warpscript,Jar,Pyspark,Namespaces,Warpscript,我试图用PySpark在外部jar中导入类,我用--jars运行spark shell,并使用包含我想要使用的类的jar路径 但是,当我在代码中导入类时,找不到名称空间: from io.warp10.spark import WarpScriptFilterFunction 错误: SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory] Traceback (most recent call last):

我试图用PySpark在外部jar中导入类,我用--jars运行spark shell,并使用包含我想要使用的类的jar路径

但是,当我在代码中导入类时,找不到名称空间:

from io.warp10.spark import WarpScriptFilterFunction
错误:

 SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
 Traceback (most recent call last):
   File "warp10-test.py", line 1, in <module>
     from io.warp10.spark import WarpScriptFilterFunction
 ImportError: No module named warp10.spark
SLF4J:实际绑定的类型为[org.SLF4J.impl.Log4jLoggerFactory]
回溯(最近一次呼叫最后一次):
文件“warp10 test.py”,第1行,在
从io.warp10.spark导入WarpScriptFilterFunction
ImportError:没有名为warp10.spark的模块

您必须使用脚本™ UDF,如果你想在Spark上跑步

以下是一个例子:

从pyspark.sql导入SparkSession
从pyspark.sql导入SQLContext
从pyspark.sql.types导入StringType
从pyspark.sql.types导入ArrayType
spark=SparkSession.builder.appName(“WarpScript火花测试”).getOrCreate()
sc=spark.sparkContext
sqlContext=sqlContext(sc)
sqlContext.registerJavaFunction(“foo”、“io.warp10.spark.WarpScriptUDF3”、ArrayType(StringType())
打印sqlContext.sql(“选择foo('SNAPSHOT\'Easy!\'、3.14、'pi')))。collect()

有关更多信息,请参阅:

谢谢,我知道了,但忘了回答我自己的问题。它起作用了!