Apache flink 动态节流flink kafka源

Apache flink 动态节流flink kafka源,apache-flink,flink-streaming,flink-cep,Apache Flink,Flink Streaming,Flink Cep,我们正在使用多个卡夫卡主题,但希望优先考虑其中一些主题(~服务质量) 根据我在网上发现的情况,大家的共识是不要限制操作符,而是限制源代码,更具体地说是反序列化程序[1] 我们如何访问源中有关流媒体环境状态的信息(即主题落后于当前偏移量的程度) 目前,我们计划将整个设置转换为CoFlatMaps[2],并拥有一个控制流,该控制流为所有主题发出当前偏移滞后-低优先级流操作符,然后根据高优先级流的滞后进行休眠 你将如何解决这个问题? Tl;dr:是否有办法跨taskmanager的源/反序列化程序共享

我们正在使用多个卡夫卡主题,但希望优先考虑其中一些主题(~服务质量)

根据我在网上发现的情况,大家的共识是不要限制操作符,而是限制源代码,更具体地说是反序列化程序[1]

我们如何访问源中有关流媒体环境状态的信息(即主题落后于当前偏移量的程度)

目前,我们计划将整个设置转换为CoFlatMaps[2],并拥有一个控制流,该控制流为所有主题发出当前偏移滞后-低优先级流操作符,然后根据高优先级流的滞后进行休眠

你将如何解决这个问题? Tl;dr:是否有办法跨taskmanager的源/反序列化程序共享信息?

[1]


[2] 对于需要回答此问题的人: 我在《弗林克的背压》中遇到了类似的话题。我发现人们在源操作符和序列化部分执行速率限制

flink github repo有一个例子: