Apache spark 如何在spark streaming中处理窗口中任意时间间隔的数据?

Apache spark 如何在spark streaming中处理窗口中任意时间间隔的数据?,apache-spark,spark-streaming,Apache Spark,Spark Streaming,请看下图: 窗口中有'time1','time2','time3',我是否可以只处理'time2'并过滤其他'time'(丢弃'time1','time3') 如果一次只处理一个数据流,不要使用窗口函数。Windows将多个数据流组合在一起,然后处理数据 您可以只在“time1”处理数据,然后当“time2”出现时,您可以只处理该数据。根据描述,你似乎过于复杂化了你要做的事情 例如: yourDStream = //your reciever yourDStream.map(...).fore

请看下图:


窗口中有'time1''time2''time3',我是否可以只处理'time2'并过滤其他'time'(丢弃'time1','time3')

如果一次只处理一个数据流,不要使用窗口函数。Windows将多个数据流组合在一起,然后处理数据

您可以只在“time1”处理数据,然后当“time2”出现时,您可以只处理该数据。根据描述,你似乎过于复杂化了你要做的事情

例如:

yourDStream = //your reciever
yourDStream.map(...).foreach(//save somewhere)

上面的代码只将您的转换应用于当前的数据流。通过应用窗口,您告诉spark将多个数据流聚合在一起。如果不使用窗口函数,则不必担心从窗口中丢弃数据。

如果只想一次处理一个数据流,请不要使用窗口函数。Windows将多个数据流组合在一起,然后处理数据

您可以只在“time1”处理数据,然后当“time2”出现时,您可以只处理该数据。根据描述,你似乎过于复杂化了你要做的事情

例如:

yourDStream = //your reciever
yourDStream.map(...).foreach(//save somewhere)
上面的代码只将您的转换应用于当前的数据流。通过应用窗口,您告诉spark将多个数据流聚合在一起。如果不使用窗口函数,则不必担心从窗口中丢弃数据