Scala 笔记本上未显示带RDD foreach的齐柏林飞艇Spark println

我使用齐柏林飞艇和Spark（Scala）

然而，到目前为止，笔记本上没有打印任何内容。我尝试了

.collect（）

，以查看RDD是否为空。RDD正常并正确加载文件

这是齐柏林飞艇笔记本的截图

还有一些关于齐柏林飞艇和星火的信息

齐柏林飞艇0.8.0

---

Spark 2.3.2

尝试打印几行而不是全部。 可能是齐柏林飞艇无法打印整个文件

尝试：

---

试着打印几行而不是全部。 可能是齐柏林飞艇无法打印整个文件

尝试：

---

我也有类似的问题

%spark
import org.apache.commons.io.IOUtils
import java.net.URL
import java.nio.charset.Charset

val rdd = sc.textFile("some/file")
val rdd1 = rdd.map(s => s.split(",")).map(l => (l(2), 1)).reduceByKey(_ + _)
val rdd6 = rdd1.map(a=>(a._2,a._1)).sortByKey(ascending = false)

// this line shows blank
rdd6.collect().foreach(println)
// this also does not print
println("hello from scala")

//this works, but is DF not RDD
rdd6.toDF().show(200)

经过一些检查，我发现问题出在齐柏林飞艇版本上（齐柏林飞艇-0.8.1-bin-all）。有一个bug在下一个版本中得到了修复，因此我切换到了版本0.8.2

---

这对我很有效。

我也有类似的问题

%spark
import org.apache.commons.io.IOUtils
import java.net.URL
import java.nio.charset.Charset

val rdd = sc.textFile("some/file")
val rdd1 = rdd.map(s => s.split(",")).map(l => (l(2), 1)).reduceByKey(_ + _)
val rdd6 = rdd1.map(a=>(a._2,a._1)).sortByKey(ascending = false)

// this line shows blank
rdd6.collect().foreach(println)
// this also does not print
println("hello from scala")

//this works, but is DF not RDD
rdd6.toDF().show(200)

经过一些检查，我发现问题出在齐柏林飞艇版本上（齐柏林飞艇-0.8.1-bin-all）。有一个bug在下一个版本中得到了修复，因此我切换到了版本0.8.2

---

这对我来说很有效。

foreach

由执行者执行，齐柏林飞艇正在运行驱动程序-这就是为什么你看不到输出，因为它是在其他进程的标准输出中打印的

foreach

不用于调试，如果要打印RDD的内容，需要

collect

然后打印返回的集合-请注意，如果集合太大，将耗尽您的内存。要添加到Luis的答案中。如果你想检查齐柏林飞艇上的数据，最简单的方法之一就是使用

。show

foreach

由执行器执行，齐柏林飞艇正在运行驱动程序-这就是为什么你看不到输出，因为它是在其他进程的stdout中打印的

foreach

不用于调试，如果要打印RDD的内容，需要

collect

然后打印返回的集合-请注意，如果集合太大，将耗尽您的内存。要添加到Luis的答案中。如果您想检查齐柏林飞艇上的数据，最简单的方法之一是使用

.show

%spark
import org.apache.commons.io.IOUtils
import java.net.URL
import java.nio.charset.Charset

val rdd = sc.textFile("some/file")
val rdd1 = rdd.map(s => s.split(",")).map(l => (l(2), 1)).reduceByKey(_ + _)
val rdd6 = rdd1.map(a=>(a._2,a._1)).sortByKey(ascending = false)

// this line shows blank
rdd6.collect().foreach(println)
// this also does not print
println("hello from scala")

//this works, but is DF not RDD
rdd6.toDF().show(200)