Jupyter中ApacheToree内核的有限Scala语法
根据我收到的指示,我已经通过使用成功地将Jupyter中ApacheToree内核的有限Scala语法,scala,apache-spark,jupyter-notebook,apache-toree,Scala,Apache Spark,Jupyter Notebook,Apache Toree,根据我收到的指示,我已经通过使用成功地将Spark-Scala内核包含到我的Jupyter笔记本中。但是,我注意到Scala语法非常有限。以下是两个例子: 1。无法手动创建数据帧 以下代码适用于端子火花壳: OS X El Capitan 10.11.6 Spark 2.2.0 (local) Scala 2.11.8 Apache Toree Jupyter Kernel 0.2.0 但是当尝试使用Spark-Scala内核在Jupyter中运行时,我收到以下错误: val test = S
Spark-Scala
内核包含到我的Jupyter笔记本中。但是,我注意到Scala语法非常有限。以下是两个例子:
1。无法手动创建数据帧
以下代码适用于端子火花壳:
OS X El Capitan 10.11.6
Spark 2.2.0 (local)
Scala 2.11.8
Apache Toree Jupyter Kernel 0.2.0
但是当尝试使用Spark-Scala
内核在Jupyter中运行时,我收到以下错误:
val test = Seq(
("Brandon", "Erica"),
("Allen", "Sarabeth"),
("Jared", "Kyler")).
toDF("guy", "girl")
Name: Compile Error
Message: <console>:21: error: value toDF is not a member of Seq[(String, String)]
possible cause: maybe a semicolon is missing before `value toDF'?
toDF("guy", "girl")
^
我认为有一个高级解决方案可以在Jupyter中使用所有Spark Scala语法,并期待社区的支持。我找到了一个答案,也解决了我的问题:
Name: Compile Error
Message: <console>:31: error: value $ is not a member of StringContext
df.where($"columnName" =!= "NA").
在记事本的开头运行这个程序,缓解了我以前遇到的所有语法限制
val sqlC = new org.apache.spark.sql.SQLContext(sc)
import sqlC.implicits._