Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/python/277.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何在bluemix spark上向python笔记本添加jar?_Python_Apache Spark_Ipython_Ibm Cloud_Jupyter Notebook - Fatal编程技术网

如何在bluemix spark上向python笔记本添加jar?

如何在bluemix spark上向python笔记本添加jar?,python,apache-spark,ipython,ibm-cloud,jupyter-notebook,Python,Apache Spark,Ipython,Ibm Cloud,Jupyter Notebook,我想将spark jdbc与python结合使用。第一步是添加一个jar: %AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f 然而,答复是: ERROR: Line magic function `%AddJar` not found. 如何在python脚本中添加JDBC jar文件?我认为这在笔记本的python内核中是不可能的,因为%Addjar是

我想将spark jdbc与python结合使用。第一步是添加一个jar:

%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f
然而,答复是:

ERROR: Line magic function `%AddJar` not found.

如何在python脚本中添加JDBC jar文件?

我认为这在笔记本的python内核中是不可能的,因为%Addjar是笔记本中的scala内核魔术函数

您需要依靠服务提供者将这个jar添加到python内核中

您可以尝试的另一件事是sc.addjar(),但不确定它是如何工作的

谢谢,
查尔斯。

目前,这不可能仅从python笔记本上实现;但这被理解为一项重要要求。在得到支持之前,您可以从python笔记本的同一spark service实例中创建一个scala笔记本并从此处
%AddJar
。然后,同一spark服务实例的所有python笔记本都可以访问它。对于从scala nb添加jar时处于活动状态的py笔记本,需要重新启动它们的内核

注意,这适用于Jupyter 4+上的笔记本实例,但不一定适用于早期的IPython笔记本实例;从笔记本的帮助->关于菜单中检查版本。最近创建的任何新笔记本实例都将在Jupyter 4+上。您可以尝试以下方法:

spark.sparkContext.addFile("filename")