Testing Spark结构化流式测试延迟数据_Testing_Spark Structured Streaming

Testing Spark结构化流式测试延迟数据

testing

Testing Spark结构化流式测试延迟数据,testing,spark-structured-streaming,Testing,Spark Structured Streaming,您好，我想知道是否有可能在单元测试中操纵处理时间，以允许在Spark结构化流中测试后期数据我正在将数据作为序列插入MemoryStream中，格式为：case class LineWithTimestamp（line:String，timestamp:timestamp）。插入带有时间戳的LineWithTimestamp（“aba”，from（now.plus（of seconds（4）））时，我希望此事件在几秒钟后发生，以便测试允许的延迟/水印提前谢谢

您好，我想知道是否有可能在单元测试中操纵处理时间，以允许在Spark结构化流中测试后期数据

我正在将数据作为序列插入

MemoryStream

中，格式为：

case class LineWithTimestamp（line:String，timestamp:timestamp）

。插入带有时间戳的

LineWithTimestamp（“aba”，from（now.plus（of seconds（4）））

时，我希望此事件在几秒钟后发生，以便测试允许的延迟/水印

提前谢谢