如何将Databricks spark csv包添加到ibmbluemix上的pythonjupyter笔记本中
我知道我应该在启动pyspark时将其作为软件包要求添加:如何将Databricks spark csv包添加到ibmbluemix上的pythonjupyter笔记本中,python,apache-spark,ibm-cloud,pyspark,Python,Apache Spark,Ibm Cloud,Pyspark,我知道我应该在启动pyspark时将其作为软件包要求添加: $SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0 但在Bluemix中,spark已经在运行,并且已经定义了spark上下文。如何添加此软件包 顺便说一句,我能在Scala中实现这一点吗?目前在Bluemix上,在Python笔记本中使用PySpark,无法将spark csv添加到环境中 但是,可以使用以下命令将其添加到Scala笔记
$SPARK_HOME/bin/spark-shell --packages com.databricks:spark-csv_2.11:1.4.0
但在Bluemix中,spark已经在运行,并且已经定义了spark上下文。如何添加此软件包
顺便说一句,我能在Scala中实现这一点吗?目前在Bluemix上,在Python笔记本中使用
PySpark
,无法将spark csv
添加到环境中
但是,可以使用以下命令将其添加到Scala笔记本中:
%AddDeps com.databricks spark-csv_2.10 1.3.0 --transitive
当然,您可以选择软件包的其他版本
对于Scala笔记本电脑和相应的Spark内核,请查看以下文档: