Java 计算Apache Spark数据流中的元素数
我需要使用Java检索数据流中元素的数量。阅读文档时,我做了如下工作:Java 计算Apache Spark数据流中的元素数,java,apache-spark,spark-streaming,Java,Apache Spark,Spark Streaming,我需要使用Java检索数据流中元素的数量。阅读文档时,我做了如下工作: JavaDStream<Object> stream; stream.count() JavaDStream流; stream.count() 它返回一个数据流对象而不是一个数字 如何获取数据流中元素的数量?我需要它在测试套件中你不能DStream表示RDD的无限序列,因此询问元素的总数并没有真正的意义 您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求流上的计数不同。您可以查看如何实
JavaDStream<Object> stream;
stream.count()
JavaDStream流;
stream.count()
它返回一个数据流对象而不是一个数字
如何获取数据流中元素的数量?我需要它在测试套件中你不能
DStream
表示RDD的无限序列,因此询问元素的总数并没有真正的意义
您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求流上的计数不同。您可以查看如何实现测试状态
val count =topNUrl.foreachRDD { rdd =>
rdd.count()
}