Apache flink “什么是”呢;捆绑;梁内燧石转轮

Apache flink “什么是”呢;捆绑;梁内燧石转轮,apache-flink,apache-beam,Apache Flink,Apache Beam,我和Flink Runner在梁上运行Flink管道。Beam为Flink提供了一些配置,如“maxBundleSize”和“maxBundleTimeMills”。(见附件) 我的问题是:什么是“捆绑” 我相信答案在源代码中,但我无法解释“bundle”的含义 谢谢。这是光束执行模型的一部分,不限于Flink Runner。Bundle是一个元素集合,运行程序决定将这些元素一起传递以优化持久性和传输,例如,这样,您就可以将它们捆绑到一个集合中,并将集合发送到另一个集合中,而不是逐个写入或发送大

我和Flink Runner在梁上运行Flink管道。Beam为Flink提供了一些配置,如“maxBundleSize”和“maxBundleTimeMills”。(见附件)

我的问题是:什么是“捆绑”

我相信答案在源代码中,但我无法解释“bundle”的含义


谢谢。

这是光束执行模型的一部分,不限于Flink Runner。Bundle是一个元素集合,运行程序决定将这些元素一起传递以优化持久性和传输,例如,这样,您就可以将它们捆绑到一个集合中,并将集合发送到另一个集合中,而不是逐个写入或发送大量元素。这样可能会更有效率。捆绑包的大小取决于具体的运行程序,就像Flink runner一样,您可以在某种程度上配置此逻辑。您不必处理bundle,除非您确实需要(例如,优化性能、处理资源分配等),它们的存在对管道作者来说基本上是透明的,这是管道执行方式的一部分,这不是描述业务逻辑所必须处理的主要顶级原语。

感谢您提供的详细信息。若我理解正确的话,Beam并没有逐个记录地处理元组。这是否意味着Beam一直在使用Flink的批处理?