Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
执行的作业在Spark Streaming中没有数据_Streaming_Apache Spark - Fatal编程技术网

执行的作业在Spark Streaming中没有数据

执行的作业在Spark Streaming中没有数据,streaming,apache-spark,Streaming,Apache Spark,我的代码: // messages is JavaPairDStream<K, V> Fun01(messages) Fun02(messages) Fun03(messages) 我已经对Spark-1.1和Spark-1.2进行了测试,这是由我公司的Spark cluster支持的。这似乎是Spark-1.1和Spark-1.2中的一个缺陷,在Spark-1.3中修复 我在这里发布我的测试结果: 当连续使用两个ReduceByKey和window时,根据窗口的不同,滑动值可能

我的代码:

// messages is JavaPairDStream<K, V> 
Fun01(messages)
Fun02(messages)
Fun03(messages)

我已经对Spark-1.1和Spark-1.2进行了测试,这是由我公司的Spark cluster支持的。

这似乎是Spark-1.1和Spark-1.2中的一个缺陷,在Spark-1.3中修复

我在这里发布我的测试结果:

当连续使用两个ReduceByKey和window时,根据窗口的不同,滑动值可能会出现“数据丢失”


我在Spark的问题列表中找不到bug,因此无法获得修补程序。

您能添加缺少的代码吗?在提供的有限上下文中,不清楚问题或潜在原因是什么。您应该添加解决方案作为答案并接受它。这对其他人和那些寻求帮助的人更有帮助。。。
msg_02 = messages.mapToPair(...)
msg_03 = msg_02.reduceByKeyAndWindow(...)
msg_04 = msg_03.mapValues(...)
msg_05 = msg_04.reduceByKeyAndWindow(...)
msg_06 = msg_05.filter(...)

msg_07 = msg_06.filter(...)
msg_07.cache()
msg_07.foreachRDD(...)