Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/scala/17.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Scala 无法查看RDD内容_Scala_Apache Spark - Fatal编程技术网

Scala 无法查看RDD内容

Scala 无法查看RDD内容,scala,apache-spark,Scala,Apache Spark,我正在使用scala创建RDD,但当我试图查看RDD的内容时,我得到的结果如下 MapPartitionsRDD[25] at map at <console>:96 你需要提供一个有效的解决方案。e、 g.使用: 如果您有一个数组[Array[T]],则在使用foreach之前需要展平: word.collect().flatten.foreach(println) 我尝试了你的方式,我得到了[[Ljava.lang.String;@18e39f6f作为我的输出我尝试了word

我正在使用scala创建RDD,但当我试图查看RDD的内容时,我得到的结果如下

MapPartitionsRDD[25] at map at <console>:96
你需要提供一个有效的解决方案。e、 g.使用:

如果您有一个
数组[Array[T]]
,则在使用
foreach
之前需要
展平

word.collect().flatten.foreach(println)

我尝试了你的方式,我得到了
[[Ljava.lang.String;@18e39f6f
作为我的输出我尝试了
word.collect().foreach(println)
我得到了
[Ljava.lang.String;@1ec0cf46[Ljava.lang.String;@4680c70[Ljava.lang.String;@4B08F52[Ljava.lang.String;@1ef976fa[Ljava.lang.String;@bf226f9[Ljava.lang.String;@Dcab8f][Ljava.lang.String;@41835da1
看起来你有一个
数组[Array[String]]
。你需要先展平:
word.collect().flatte.foreach(println)
这很有效,我得到了我的结果,非常感谢。我怀疑如何找到它是
Array[Array[String]]
?如果您使用的是IntelliJ之类的IDE,您可以在
word
ALT+=
检查返回类型。可能重复@eliasah非常感谢链接,它有一些详细的解释。
object WordCount {
   def main(args: Array[String]): Unit = {
     val textfile = sc.textFile("/user/cloudera/xxx/File")
     val word = textfile.filter(x => x.length >  0).map(_.split('|'))
     word.collect().foreach(println)
   }
}
word.collect().flatten.foreach(println)