Apache spark 如何打印广播变量的内容

Apache spark 如何打印广播变量的内容,apache-spark,pyspark,Apache Spark,Pyspark,我在pyspark shell中创建了一个广播变量,我只想检查其中的内容 但是,我通常用于打印或查看RDD的函数对于广播变量不可用 i、 e..collect()和.take(5)等都抛出可怕的广播对象没有属性…错误 如何查看广播变量中存储的数据?我猜Python中的情况类似。我向您展示了Scala中的一个示例 scala> val broadcastVar = sc.broadcast(Array(1, 2, 3)) broadcastVar: org.apache.spark.broa

我在pyspark shell中创建了一个广播变量,我只想检查其中的内容

但是,我通常用于打印或查看RDD的函数对于广播变量不可用

i、 e.
.collect()
.take(5)
等都抛出可怕的
广播对象没有属性…
错误


如何查看广播变量中存储的数据?

我猜Python中的情况类似。我向您展示了Scala中的一个示例

scala> val broadcastVar = sc.broadcast(Array(1, 2, 3))
broadcastVar: org.apache.spark.broadcast.Broadcast[Array[Int]] = Broadcast(0)

scala> broadcastVar.value
res0: Array[Int] = Array(1, 2, 3)
如果您保存broadcastVar.value的结果,您将得到一个T,在一个变量中,您可以使用T类型的默认toString方法打印它或任何东西