Apache spark 为什么我能够用SparkContext映射RDD

SparkContext不可序列化。这是为了在司机身上使用，因此有人能解释一下吗

使用火花壳、纱线和火花版本1.6.0

客户端（打印执行者端）没有发生任何事情。

使用spark外壳、本地主机和spark版本1.6.0

在客户端打印“null”

使用pyspark、本地主机和Spark版本1.6.0

引发异常

我还尝试了以下方法：

使用spark外壳和spark版本1.6.0

现在它终于抛出了一个java.io.NotSerializableException:org.apache.spark.SparkContext

---

---

当我只打印sc时，为什么它在Scala中工作？为什么我有一个空引用，而它本应该抛出一个NotSerializableException（或者我是这么想的…）

与Spark 2.1.1中的

SparkSession

一样，它也打印

null

（尽管

SparkSession

实现了

Serializable

val rdd = sc.parallelize(Seq(1))
rdd.foreach(x => print(sc))

val rdd = sc.parallelize(Seq(1))
rdd.foreach(x => print(sc))

rdd = sc.parallelize([1])
def _print(x):
    print(x)
rdd.foreach(lambda x: _print(sc))

class Test(val sc:org.apache.spark.SparkContext) extends Serializable{}
val test = new Test(sc)
rdd.foreach(x => print(test))