Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/341.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 计算Apache Spark数据流中的元素数_Java_Apache Spark_Spark Streaming - Fatal编程技术网

Java 计算Apache Spark数据流中的元素数

Java 计算Apache Spark数据流中的元素数,java,apache-spark,spark-streaming,Java,Apache Spark,Spark Streaming,我需要使用Java检索数据流中元素的数量。阅读文档时,我做了如下工作: JavaDStream<Object> stream; stream.count() JavaDStream流; stream.count() 它返回一个数据流对象而不是一个数字 如何获取数据流中元素的数量?我需要它在测试套件中你不能DStream表示RDD的无限序列,因此询问元素的总数并没有真正的意义 您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求流上的计数不同。您可以查看如何实

我需要使用Java检索数据流中元素的数量。阅读文档时,我做了如下工作:

JavaDStream<Object> stream;

stream.count()
JavaDStream流;
stream.count()
它返回一个数据流对象而不是一个数字


如何获取数据流中元素的数量?我需要它在测试套件中

你不能
DStream
表示RDD的无限序列,因此询问元素的总数并没有真正的意义

您可以添加有状态操作,这些操作将跟踪值的数量并按窗口进行更新,但这与请求流上的计数不同。您可以查看如何实现测试状态

val count =topNUrl.foreachRDD { rdd => 
                      rdd.count()
}