Java 在googledataflow中实现收回_Java_Bigdata_Google Cloud Dataflow

Java 在googledataflow中实现收回

java google-cloud-dataflow

Java 在googledataflow中实现收回,java,bigdata,google-cloud-dataflow,Java,Bigdata,Google Cloud Dataflow,我阅读了“数据流模型：在大规模、无边界、无序数据处理中平衡正确性、延迟和成本的实用方法”这篇论文。遗憾的是，SDK尚未公开累积和收缩触发模式（第2.3节）我想知道是否有一个解决办法来获得类似的语义我一直在阅读源代码，并发现StateTag或StateMespace可能是存储“窗口最后发出的值”的方式，因此可以用于计算管道中的收回消息。这是正确的路径还是有其他类/方法可以/应该看。即将推出的state API确实是模拟收回的最佳选择。您提到的那些类是stateAPI的一部分，但是com.goo

我阅读了“数据流模型：在大规模、无边界、无序数据处理中平衡正确性、延迟和成本的实用方法”这篇论文。遗憾的是，SDK尚未公开累积和收缩触发模式（第2.3节）

我想知道是否有一个解决办法来获得类似的语义

我一直在阅读源代码，并发现StateTag或StateMespace可能是存储“窗口最后发出的值”的方式，因此可以用于计算管道中的收回消息。这是正确的路径还是有其他类/方法可以/应该看。

即将推出的state API确实是模拟收回的最佳选择。您提到的那些类是stateAPI的一部分，但是

com.google.cloud.dataflow.sdk.util中的所有内容都仅供内部使用；从技术上讲，我们不保证API不会发生重大变化，甚至不会继续发布。这就是说，发布该API已在我们的路线图上，我希望我们能相对较快地发布它
需要记住的一点是：自定义收回的所有下游代码都需要能够将它们与正常记录区分开来。一旦真正的收回支持就绪，我们将自动为您执行此操作，但与此同时，您只需确保您编写的所有可能收到收回的代码都知道如何识别和处理它。
即将推出的状态API确实是您模拟收回的最佳选择。您提到的那些类是stateAPI的一部分，但是com.google.cloud.dataflow.sdk.util中的所有内容都仅供内部使用；从技术上讲，我们不保证API不会发生重大变化，甚至不会继续发布。这就是说，发布该API已在我们的路线图上，我希望我们能相对较快地发布它
需要记住的一点是：自定义收回的所有下游代码都需要能够将它们与正常记录区分开来。一旦真正的收回支持就绪，我们将自动为您执行此操作，但与此同时，您只需要确保您编写的所有可能接收收回的代码都知道如何识别和处理收回