Apache spark spark流媒体中kafka接收机的负载不平衡

Apache spark spark流媒体中kafka接收机的负载不平衡,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我的集群有8个节点(包括运行驱动程序的节点)。每个节点有16个核心。有8个卡夫卡接收器。然而,似乎只有3个接收器具有良好的“事件/秒”计数。所有其他的数据量都可以忽略不计。这可能是什么原因造成的?有没有办法修复它,使负载更均匀地平衡 接收器的数据如下所示: 您可以添加流式处理作业的代码吗?val kafkaDStreams=(1到options.numReaderThreads).map{{KafkaUtils.createStream(ssc,options.zoockeepers+optio

我的集群有8个节点(包括运行驱动程序的节点)。每个节点有16个核心。有8个卡夫卡接收器。然而,似乎只有3个接收器具有良好的“事件/秒”计数。所有其他的数据量都可以忽略不计。这可能是什么原因造成的?有没有办法修复它,使负载更均匀地平衡

接收器的数据如下所示:

您可以添加流式处理作业的代码吗?val kafkaDStreams=(1到options.numReaderThreads).map{{KafkaUtils.createStream(ssc,options.zoockeepers+options.zookeeperNodePath,options.jobName,topicMap,StorageLevel.MEMORY_ONLY_SER)}println(“重新分区开始”)val repartited=ssc.union(kafkafkadstreams).repartition(options.numExecutors)println(“重新分区已完成”)您可以添加流式处理作业的代码吗?val kafkaDStreams=(1到options.numReaderThreads)。map{{u=>KafkaUtils.createStream(ssc,options.zoockeepernodepath+options.zookeeperNodePath,options.jobName,topicMap,StorageLevel.MEMORY_ONLY_SER)}println(“重新分区开始”)val repartitioned=ssc.union(kafkaDStreams)。重新分区(options.numExecutors)println(“重新分区完成”)