Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark中的水印是如何工作的？_Apache Spark - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark Spark中的水印是如何工作的？

Apache spark Spark中的水印是如何工作的？

apache-spark

Apache spark Spark中的水印是如何工作的？,apache-spark,Apache Spark,我在理解水印、浏览官方文件时感到困惑 这里是图片 https://spark.apache.org/docs/latest/img/structured-streaming-watermark-update-mode.png 医生说： the engine will maintain state and allow late data to update the state until (max event time seen by the engine - late threshold &

我在理解水印、浏览官方文件时感到困惑

这里是图片

https://spark.apache.org/docs/latest/img/structured-streaming-watermark-update-mode.png
医生说：

 the engine will maintain state and allow late data to update the state until (max event time seen by the engine - late threshold > T)
所以，如果我们看到图像中的水印，在12:15计算的是
12:04
。为什么这12:04与发动机看到的
最大事件时间-延迟阈值>T
有关？哪个窗口（T）的值更大