Stream 来自卡夫卡的flink源算子的dafa是非均匀的
有一个关于卡夫卡的主题,它有9个分区。我的flink工作需要使用该主题来进行ETL,并将数据导入另一个主题。所以我的flink作业并行性源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是来自卡夫卡的flink源算子的dafa是非均匀的 源操作员代码:Stream 来自卡夫卡的flink源算子的dafa是非均匀的,stream,apache-kafka,apache-flink,bigdata,Stream,Apache Kafka,Apache Flink,Bigdata,有一个关于卡夫卡的主题,它有9个分区。我的flink工作需要使用该主题来进行ETL,并将数据导入另一个主题。所以我的flink作业并行性源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是来自卡夫卡的flink源算子的dafa是非均匀的 源操作员代码: env.addSource(新的FlinkKafkaConsumer09(主题,新的反序列化模式(){ @凌驾 公共字节[]反序列化(字节[]字节)引发IOException{ 返回字节; } @凌驾 公共布尔is
env.addSource(新的FlinkKafkaConsumer09(主题,新的反序列化模式(){
@凌驾
公共字节[]反序列化(字节[]字节)引发IOException{
返回字节;
}
@凌驾
公共布尔isEndOfStream(字节[]字节){
返回false;
}
@凌驾
公共类型信息getProducedType(){
返回PrimitiveArrayTypeInfo.BYTE\u primitiver\u ARRAY\u TYPE\u INFO;
}
}(9);
我将监视器屏幕截图附在下面:
我可以做些什么来增强此缺陷 数据是否均匀分布在所有9个Kafka分区上?如果不是这样,那么这是不可能的。数据是否均匀地分布在所有9个Kafka分区上?如果不是这样,那么这是不可能的。