Dataframe 使用Spark流时如何访问按时间排序的数据

Dataframe 使用Spark流时如何访问按时间排序的数据,dataframe,pyspark,spark-streaming,Dataframe,Pyspark,Spark Streaming,我有一个从卡夫卡到火花流的流跟踪结果。我的数据格式如下: @时间戳,磁道ID,顶部,左侧,W,H 我想做的是计算每辆车此刻的速度。为此,我需要找到上次检测到相同轨迹ID的时间,以及当时车辆的位置。在这种情况下,我需要保存按时间排序的数据(每个新来的数据都堆叠在最后)。对我来说,最简单的方法是将每个新出现的数据附加到一个数据帧中,然后分别计算速度。但是,我不知道如何做到这一点,也不知道如何以这种格式整齐连续地存储数据。 如果你能帮助我,我将不胜感激 谢谢

我有一个从卡夫卡到火花流的流跟踪结果。我的数据格式如下: @时间戳,磁道ID,顶部,左侧,W,H 我想做的是计算每辆车此刻的速度。为此,我需要找到上次检测到相同轨迹ID的时间,以及当时车辆的位置。在这种情况下,我需要保存按时间排序的数据(每个新来的数据都堆叠在最后)。对我来说,最简单的方法是将每个新出现的数据附加到一个数据帧中,然后分别计算速度。但是,我不知道如何做到这一点,也不知道如何以这种格式整齐连续地存储数据。 如果你能帮助我,我将不胜感激

谢谢