Apache flink 我真的需要弗林克检查点吗?

Apache flink 我真的需要弗林克检查点吗?,apache-flink,flink-streaming,Apache Flink,Flink Streaming,我有一个Flink应用程序,它从Kafka中读取一些事件,从MySQL中丰富数据,使用窗口函数缓冲数据,并将窗口内的数据写入HBase。我目前已经启用了检查点,但事实证明,检查点非常昂贵,而且随着时间的推移,它花费的时间越来越长,并影响我的作业延迟(卡夫卡摄取率落后)。如果我想办法让我的HBase写的是幂等的,那么我有充分的理由使用检查点吗?我可以将内部kafka使用者客户端配置为每隔一段时间提交一次,对吗?如果您唯一要检查的是kafka提供者偏移量,那么检查点时间足够长,足以减慢您的工作流,这

我有一个Flink应用程序,它从Kafka中读取一些事件,从MySQL中丰富数据,使用窗口函数缓冲数据,并将窗口内的数据写入HBase。我目前已经启用了检查点,但事实证明,检查点非常昂贵,而且随着时间的推移,它花费的时间越来越长,并影响我的作业延迟(卡夫卡摄取率落后)。如果我想办法让我的HBase写的是幂等的,那么我有充分的理由使用检查点吗?我可以将内部kafka使用者客户端配置为每隔一段时间提交一次,对吗?

如果您唯一要检查的是kafka提供者偏移量,那么检查点时间足够长,足以减慢您的工作流,这会让我感到惊讶。还是其他地方也在拯救国家?如果是这样的话,您可以跳过它(根据您的说明,只要HBase写入是幂等的)


请注意,您还可以调整检查点间隔,并且(如果需要)在RocksDB中使用增量检查点。

我调整了应用程序的检查点间隔。结果是15秒太频繁了。我还调整了两个检查点之间的SetMinPauseBeetweenCheckPoints,以确保应用程序取得进展。