Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Stream 来自卡夫卡的flink源算子的dafa是非均匀的_Stream_Apache Kafka_Apache Flink_Bigdata - Fatal编程技术网

Stream 来自卡夫卡的flink源算子的dafa是非均匀的

Stream 来自卡夫卡的flink源算子的dafa是非均匀的,stream,apache-kafka,apache-flink,bigdata,Stream,Apache Kafka,Apache Flink,Bigdata,有一个关于卡夫卡的主题,它有9个分区。我的flink工作需要使用该主题来进行ETL,并将数据导入另一个主题。所以我的flink作业并行性源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是来自卡夫卡的flink源算子的dafa是非均匀的 源操作员代码: env.addSource(新的FlinkKafkaConsumer09(主题,新的反序列化模式(){ @凌驾 公共字节[]反序列化(字节[]字节)引发IOException{ 返回字节; } @凌驾 公共布尔is

有一个关于卡夫卡的主题,它有9个分区。我的flink工作需要使用该主题来进行ETL,并将数据导入另一个主题。所以我的flink作业并行性源操作符配置为9。flink集群有3个任务管理器,每个任务管理器有3个源操作符。但是来自卡夫卡的flink源算子的dafa是非均匀的

源操作员代码:

env.addSource(新的FlinkKafkaConsumer09(主题,新的反序列化模式(){
@凌驾
公共字节[]反序列化(字节[]字节)引发IOException{
返回字节;
}
@凌驾
公共布尔isEndOfStream(字节[]字节){
返回false;
}
@凌驾
公共类型信息getProducedType(){
返回PrimitiveArrayTypeInfo.BYTE\u primitiver\u ARRAY\u TYPE\u INFO;
}
}(9);
我将监视器屏幕截图附在下面:


我可以做些什么来增强此缺陷

数据是否均匀分布在所有9个Kafka分区上?如果不是这样,那么这是不可能的。数据是否均匀地分布在所有9个Kafka分区上?如果不是这样,那么这是不可能的。