Pyspark 为什么我不能导入';熊猫世界发展基金会';在木星笔记本里?

Pyspark 为什么我不能导入';熊猫世界发展基金会';在木星笔记本里?,pyspark,jupyter-notebook,Pyspark,Jupyter Notebook,我在Jupyter笔记本中运行了以下代码,但得到了一些提示。请注意,“udf”可以在Jupyter中导入 从pyspark.sql.functions导入pandas\u udf ImportError回溯(最近的呼叫) 最后)在() ---->1从pyspark.sql.functions导入 导入错误:无法导入名称“pandas\u udf” 有人知道怎么修吗?多谢各位 看起来您可以自己启动jupyter笔记本,而不是使用jupyter笔记本启动PypSpark,这是以下命令: PYSPAR

我在Jupyter笔记本中运行了以下代码,但得到了一些提示。请注意,“udf”可以在Jupyter中导入

从pyspark.sql.functions导入pandas\u udf

ImportError回溯(最近的呼叫) 最后)在() ---->1从pyspark.sql.functions导入

导入错误:无法导入名称“pandas\u udf”


有人知道怎么修吗?多谢各位

看起来您可以自己启动jupyter笔记本,而不是使用jupyter笔记本启动PypSpark,这是以下命令:

PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark
如果您的jupyter笔记本服务器进程是从另一台计算机上运行的,那么您可能希望使用此命令使其可用于服务器的所有IP地址

(注意:如果您的服务器位于公共或不受信任的网络上,这可能是一个潜在的安全问题)


如果问题在你启动jupyter笔记本后仍然存在,我会修改我的答案。

你的spark版本是什么?它是pyspark 2.3.0。
PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=0.0.0.0 " pyspark