Apache spark Spark:未注册任何输出操作,因此无需执行任何操作
下面的问题是类似的:但是我认为在第51行使用wordCounts.print时,我确实输出了一些结果 基本代码:Apache spark Spark:未注册任何输出操作,因此无需执行任何操作,apache-spark,spark-streaming,Apache Spark,Spark Streaming,下面的问题是类似的:但是我认为在第51行使用wordCounts.print时,我确实输出了一些结果 基本代码: ssc.start() ssc.awaitTermination() val lines = messages.map(_._2) val words = lines.flatMap(_.split(" ")) val wordCounts = words.map(x => (x, 1L)).reduceByKey(_ + _)
ssc.start()
ssc.awaitTermination()
val lines = messages.map(_._2)
val words = lines.flatMap(_.split(" "))
val wordCounts = words.map(x => (x, 1L)).reduceByKey(_ + _)
wordCounts.print()
还是我误解了什么?
跟进:
应该是代码中的最后一个
应该是代码中的最后一个
由于输出操作实际上允许外部系统使用转换后的数据,因此它们触发所有数据流转换的实际执行,类似于RDD的操作
从
这实际上是因为你在开始的时候没有做任何输出操作。当您将开始和终止移动到代码中的最后一个位置时,您执行了输出操作,因此它可以工作
由于输出操作实际上允许外部系统使用转换后的数据,因此它们触发所有数据流转换的实际执行,类似于RDD的操作
从
这实际上是因为你在开始的时候没有做任何输出操作。当您将开始和终止移动到代码中的最后一个位置时,您执行了输出操作,因此它可以工作
ssc.start()
ssc.awaitTermination()