Apache spark Spark Streaming:输入速率和文件流[0]具有;平均值:0.00事件/秒;总是
我使用spark 1.5.2运行,代码如下。它定期正确打印计数,但在spark streaming UI中,输入速率和文件流[0]始终具有“平均:0.00事件/秒” 注意:每个文件都包含一行json字符串。我也尝试过每个包含多行的文件,仍然是同一个问题Apache spark Spark Streaming:输入速率和文件流[0]具有;平均值:0.00事件/秒;总是,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我使用spark 1.5.2运行,代码如下。它定期正确打印计数,但在spark streaming UI中,输入速率和文件流[0]始终具有“平均:0.00事件/秒” 注意:每个文件都包含一行json字符串。我也尝试过每个包含多行的文件,仍然是同一个问题 object main { def main(args: Array[String]) { val conf = new SparkConf().setAppName("test") val sc = n
object main {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("test")
val sc = new SparkContext(conf)
val ssc = new StreamingContext(sc, Seconds(3))
val dStream = ssc.textFileStream("srcDir")
dStream.count().print()
ssc.start()
ssc.awaitTermination()
}
}