Apache spark Spark streaming UI记录数看起来不正确
我试图从spark streaming中找到一些日志信息，我从查看UI开始，UI总是说所有流处理批次都有0条记录。这显然是不正确的，因为我可以看到它工作正常。我正在使用.textFileStream 我正在本地运行我的机器。我也可以在集群中尝试，但我相信这个特定的结果会有所不同Apache spark Spark streaming UI记录数看起来不正确,apache-spark,spark-streaming,Apache Spark,Spark Streaming,我试图从spark streaming中找到一些日志信息，我从查看UI开始，UI总是说所有流处理批次都有0条记录。这显然是不正确的，因为我可以看到它工作正常。我正在使用.textFileStream 我正在本地运行我的机器。我也可以在集群中尝试，但我相信这个特定的结果会有所不同 val conf=new SparkConf（）.setMaster（“local[2]”）。setAppName（“NetworkWordCount”） val ssc=新的StreamingContext（形态，秒（
val conf=new SparkConf（）.setMaster（“local[2]”）。setAppName（“NetworkWordCount”）
val ssc=新的StreamingContext（形态，秒（20））
val lines=ssc.textFileStream（“wasbs://deadletters@deadlettertransactions.blob.core.windows.net/”）
val fullfilepath=”wasbs://newcontainer@deadlettertransactions.blob.core.windows.net/outputdata“
如果（mydf.count（）>0）
mydf.write.mode（“追加”）
.text（完整文件路径）
}
ssc.start（）//开始计算
ssc.终止协议（）