Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/331.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 在spark流媒体中设置检查点间隔有什么用?_Java_Apache Spark_Spark Streaming - Fatal编程技术网

Java 在spark流媒体中设置检查点间隔有什么用?

Java 在spark流媒体中设置检查点间隔有什么用?,java,apache-spark,spark-streaming,Java,Apache Spark,Spark Streaming,**1) 我想知道关于检查点间隔的使用 2) 检查点间隔与窗口大小、滑动间隔或批处理间隔是否有关系 3) 在独立群集模式下运行spark streaming时,任务(或工作)由主节点分发到工作节点 在这里,我正在执行流操作,通过从我的文件系统读取文件列表始终读取文件任务仅由一个工作人员完成,而不是共享给所有工作人员???(目前我有两个工作人员) 谢谢你的帮助>>** 1,2)检查点间隔通常是数据集间隔时间的5-7倍。这被认为是好的。 3) 是的您的键盘有问题吗?你的帖子里似乎都是随机字符……请

**1) 我想知道关于检查点间隔的使用

2) 检查点间隔与窗口大小、滑动间隔或批处理间隔是否有关系

3) 在独立群集模式下运行spark streaming时,任务(或工作)由主节点分发到工作节点

在这里,我正在执行流操作,通过从我的文件系统读取文件列表始终读取文件任务仅由一个工作人员完成,而不是共享给所有工作人员???(目前我有两个工作人员)

谢谢你的帮助>>**

1,2)检查点间隔通常是数据集间隔时间的5-7倍。这被认为是好的。


3) 是的

您的键盘有问题吗?你的帖子里似乎都是随机字符……请同时问一个问题。我相信所有问题都在这里得到了回答:如果我们有窗口大小为4分钟、滑动间隔为1分钟的窗口,我无法理解检查点间隔。。。。。。。。