Apache flink 由于背压,检查点超时

Apache flink 由于背压,检查点超时,apache-flink,Apache Flink,我们有一项长期的工作,将记录放入Elasticsearch。因为ES集群在午夜进行路由,所以接收器有时会失败。我们处理这些失败,并将这些失败的插入操作重新添加到队列中,然后继续插入它们。但是,我们发现源的背压越来越高,检查点操作最终超时。这项工作将陷入困境,不再有进展 有解决这个问题的办法吗?多谢各位 我的建议是不要先输出到ES,以确定写入ES时是否出现背压。 建议参考本文:

我们有一项长期的工作,将记录放入Elasticsearch。因为ES集群在午夜进行路由,所以接收器有时会失败。我们处理这些失败,并将这些失败的插入操作重新添加到队列中,然后继续插入它们。但是,我们发现源的背压越来越高,检查点操作最终超时。这项工作将陷入困境,不再有进展


有解决这个问题的办法吗?多谢各位

我的建议是不要先输出到ES,以确定写入ES时是否出现背压。 建议参考本文: