Scala 星火2.2.0版Jupyter上的Toree
我正在通过安装的Scala 星火2.2.0版Jupyter上的Toree,scala,apache-spark,jupyter-notebook,jupyter,apache-toree,Scala,Apache Spark,Jupyter Notebook,Jupyter,Apache Toree,我正在通过安装的anaconda3使用Jupyter。据我所知,Toree的最新产品版本不支持Spark 2.0+或Scala 11。但是,我找到了几个参考(,),您可以从github克隆incubator toree,并手动设置Spark的版本 在我的mac终端中,我使用了以下代码: OS X El Capitan 10.11.6 Spark 2.2.0 (local) Scala 2.11.8 然后,行make clean release APACHE\u SPARK\u VERSION=
anaconda3
使用Jupyter
。据我所知,Toree的最新产品版本不支持Spark 2.0+或Scala 11。但是,我找到了几个参考(,),您可以从github
克隆incubator toree
,并手动设置Spark
的版本
在我的mac终端中,我使用了以下代码:
OS X El Capitan 10.11.6
Spark 2.2.0 (local)
Scala 2.11.8
然后,行make clean release APACHE\u SPARK\u VERSION=2.2.0
给出了以下错误:
git clone https://github.com/apache/incubator-toree
cd incubator-toree
我正在寻找有关此错误的指导。通过运行以下命令安装开发人员快照
rm -r dist
rm: dist: No such file or directory
make: [clean-dist] Error 1 (ignored)
APACHE_SPARK_VERSION=2.2.0 VERSION=0.2.0.dev1-incubating IS_SNAPSHOT=true sbt clean
/bin/sh: sbt: command not found
make: *** [clean] Error 127
此版本支持spark-2.2.0
sbt:command not found
。。。您没有费心安装sbt
,是吗?如果您遇到该url超时,请尝试此方法。这对我来说很有用。@ashwinids@jyu使用这个内核在Jupyter中运行基本的Spark Scala命令时有困难吗?像.toDF
和$“columnName”
这样的简单操作都会抛出错误。
pip install https://dist.apache.org/repos/dist/dev/incubator/toree/0.2.0/snapshots/dev1/toree-pip/toree-0.2.0.dev1.tar.gz