Google cloud dataflow 处理批处理和流式消息的延迟和无序数据的数据流？

我的公司接收批处理和基于流的事件数据。我想在可预测的时间段内使用Google云数据流处理数据。然而，我意识到，在某些情况下，数据来得晚或不正常。如何使用数据流处理延迟或无序

这是一个家庭作业问题，我想知道下面的唯一答案

a。设置单个全局窗口以捕获所有数据

b。设置滑动窗口以捕获所有滞后数据

c。使用水印和时间戳捕获滞后数据

d。确保每个数据源类型（流或批处理）都有时间戳，并使用时间戳定义滞后数据的逻辑

我的推理——我相信‘C’就是答案。但是，水印实际上不同于后期数据。请确认。另外，由于这个问题同时提到了批处理和基于流的，我也认为如果“D”可以是答案，因为“批处理”（或有界收集）模式没有时间戳，除非它来自源代码或以编程方式设置。所以，我对答案有点困惑

请帮忙。我不是以英语为母语的人，所以不确定我是否会错过问题中的一些线索

How to use Dataflow to handle late or out of order

这是一个大问题。我将尝试给出一些简单的解释，但提供一些可能有助于您理解的资源

有界数据收集

您已经意识到：有界数据不存在延迟问题。根据有界数据的性质，您可以在管道启动之前立即读取完整的数据集

无边界数据收集

您的C是正确的，水印与后期数据不同。实现中的水印是一个单调递增的时间戳。当Beam/Dataflow看到事件时间戳早于水印的记录时，该记录将被视为延迟数据（这只是概念性的，您可能希望检查[1]以了解一些详细讨论）

以下是[2]、[3]、[4]作为本主题的参考：

这是一个大问题。我将尝试给出一些简单的解释，但提供一些可能有助于您理解的资源

有界数据收集

您已经意识到：有界数据不存在延迟问题。根据有界数据的性质，您可以在管道启动之前立即读取完整的数据集

无边界数据收集

您的C是正确的，水印与后期数据不同。实现中的水印是一个单调递增的时间戳。当Beam/Dataflow看到事件时间戳早于水印的记录时，该记录将被视为延迟数据（这只是概念性的，您可能希望检查[1]以了解一些详细讨论）

以下是[2]、[3]、[4]作为本主题的参考：

---

B和C可能是答案

使用滑动窗口，您可以控制数据的顺序，因此，如果您在位置9接收到数据，而在位置8没有接收到数据，您就知道数据8被延迟并等待它。问题是，如果最新的数据被延迟，你就无法知道这些数据被延迟了，你就丢失了它

水印，为滞后数据等待一段时间，如果这段时间过去了，数据没有到达，您将丢失此数据

---

因此，答案是C，因为B表示“捕获所有滞后数据”，而C忽略了单词all，C可能就是答案

使用滑动窗口，您可以控制数据的顺序，因此，如果您在位置9接收到数据，而在位置8没有接收到数据，您就知道数据8被延迟并等待它。问题是，如果最新的数据被延迟，你就无法知道这些数据被延迟了，你就丢失了它

水印，为滞后数据等待一段时间，如果这段时间过去了，数据没有到达，您将丢失此数据

---

因此，答案是C，因为B表示“捕获所有滞后数据”，而C忽略了单词all，我认为“D”可能是一个选项，因为水印与后期数据不同。此外，批处理或有界数据本身不会有时间戳。因此，我认为确保时间戳位于数据源类型中，这取决于用例。在某些用例中，即使是批处理数据，也可能需要某种延迟处理需求。在本机Beam模型中，批处理是流式处理的一种特殊情况（批处理本身应该在全局窗口中），谢谢。在您的主要评论中，您的意思是-当Beam/Dataflow看到一个事件时间戳“晚于”水印的记录时？假设水印为w1，而事件时间戳为e。如果e1

---

• [grails]相关文章推荐

• Grails 在gorm中使用时间的数据类型是什么？ grailstypes
• Grails 从数据库发送任何类型的javaMail附件 grails
• Grails代码在更新（使用新对象）未找到匹配编辑器或转换策略的列表时失败 grails
• Grails 对特殊字符进行编码时出错 grailsutf-8character-encoding
• 注释可以用来保持Groovy/Grails代码的干燥吗？ grailsgroovy
• 如何更新grails域对象列表上的属性？ grails
• grails-spring-security-getsave属性不'；行不通 grailsspring-security
• Grails应用程序资源在根目录中的位置 grails
• 我在哪里可以为所有类型的测试放置Grails测试公共类 grails
• Grails spring boot在非web应用程序中创建非嵌入式数据源 grailsspring-boot
• Grails GSP访问域类静态字段 grailsgroovy
• Grails日志-排除一个类 grailslogginglog4j
• Grails findAll（）失败，但只有几次失败 grails
• grailslazyclob在条件查询中的应用 grails
• Grails+spring安全核心：2.0-RC4+spring安全ldap:2.0-RC2 grails
• Grails属于任一类 grails
• Grails2.3.8控制台重置所有可能的设置？ grails
• Grails Java客户端在尝试上载小文件时挂起getResponseCode（） grailsfile-upload
• Grails GORM创建条件-使用SQL的“having”子句 grails
• Grails 无法加载类，因为缺少依赖项 grails

---

• 随机文章推荐

• 如何使用VPI PLI-verilog VCS查找两个verilog模块是否连接 verilog
• 如果Verilog中正好有一个高电平，则连接高电平 verilog
• verilog中的Case语句 verilog
• verilog中的除法与模 verilog
• 在verilog中生成具有不同字符串参数的实例 verilog
• Verilog运行时错误和ModelSim verilog
• 尝试模拟时Verilog模块中出现未解决的引用错误 verilog
• 有没有办法在Verilog中生成嵌套语句？ verilog
• Verilog代码在模拟中工作得很好，但在FPGA上却不行 verilog
• Verilog比较器 verilog
• Verilog错误：值不是常量？ verilog
• Verilog 各州进展太快，我在basys-2中使用了按钮 verilog
• Verilog 而for循环中的while循环 verilog
• 如何在Verilog中检查一个周期后的数据？ verilog
• Verilog 将第一个寄存器赋值为零，不写入 verilog
• Verilog 是否可以访问加密模块内未加密模块实例中的信号？ verilogsystem-verilog
• “的替代方案；无法在函数声明上同时设置范围和类型；在verilog中？ verilogsystem-verilog
• Verilog 如何使用触发器输出作为复位信号的输入 verilog
• 设计cpu，但价值不是'；t在verilog中移动 模块sram（地址、时钟、din、dout、we）//sram.v 参数addr_width=12，word_depth=110，word_width=16； 输入时钟，我们； 输入[addr_width-1:0]addr； 输入[word_width-1:0]din； 输出[word_width-1:0]dout； reg[word_width-1:0]mem[0:word_depth-1]； reg[word_width-1:0]dout； verilog
• 什么是适当的方式来增加延迟，例如74HCT151，verilog模型，使其精确到数据表？ verilogsystem-verilog