Apache spark Spark Streaming kafka concurrentModificationException

Apache spark Spark Streaming kafka concurrentModificationException,apache-spark,apache-kafka,streaming,spark-streaming-kafka,Apache Spark,Apache Kafka,Streaming,Spark Streaming Kafka,我使用的是Spark流媒体应用程序。应用程序使用directstream从Kafka主题(有200个分区)读取消息。偶尔应用程序会抛出ConcurrentModificationException-> java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access at org.apache.kafka.clients.consumer.KafkaConsumer.acq

我使用的是Spark流媒体应用程序。应用程序使用directstream从Kafka主题(有200个分区)读取消息。偶尔应用程序会抛出ConcurrentModificationException->

java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access
at org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1431)
at org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1361)
at org.apache.spark.streaming.kafka010.CachedKafkaConsumer$$anon$1.removeEldestEntry(CachedKafkaConsumer.scala:128)
at java.util.LinkedHashMap.afterNodeInsertion(LinkedHashMap.java:299)
at java.util.HashMap.putVal(HashMap.java:663)
at java.util.HashMap.put(HashMap.java:611)
at org.apache.spark.streaming.kafka010.CachedKafkaConsumer$.get(CachedKafkaConsumer.scala:158)
at org.apache.spark.streaming.kafka010.KafkaRDD$KafkaRDDIterator.<init>(KafkaRDD.scala:211)
at org.apache.spark.streaming.kafka010.KafkaRDD.compute(KafkaRDD.scala:186)
at org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:323)
at org.apache.spark.rdd.RDD.iterator(RDD.scala:287)
at org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
at org.apache.spark.scheduler.Task.run(Task.scala:99)
at org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:282)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
java.util.ConcurrentModificationException:KafkaConsumer对多线程访问不安全
访问org.apache.kafka.clients.consumer.KafkaConsumer.acquire(KafkaConsumer.java:1431)
位于org.apache.kafka.clients.consumer.KafkaConsumer.close(KafkaConsumer.java:1361)
在org.apache.spark.streaming.kafka010.CachedKafkaConsumer$$anon$1.removeeldestentiry(CachedKafkaConsumer.scala:128)上
位于java.util.LinkedHashMap.afterNodeInsertion(LinkedHashMap.java:299)
在java.util.HashMap.putVal(HashMap.java:663)
位于java.util.HashMap.put(HashMap.java:611)
位于org.apache.spark.streaming.kafka010.cachedkafcumer$.get(cachedkafcumer.scala:158)
在org.apache.spark.streaming.kafka010.KafkaRDD$kafkarditerator.(KafkaRDD.scala:211)
位于org.apache.spark.streaming.kafka010.KafkaRDD.compute(KafkaRDD.scala:186)
在org.apache.spark.rdd.rdd.computeOrReadCheckpoint(rdd.scala:323)上
位于org.apache.spark.rdd.rdd.iterator(rdd.scala:287)
位于org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:87)
位于org.apache.spark.scheduler.Task.run(Task.scala:99)
位于org.apache.spark.executor.executor$TaskRunner.run(executor.scala:282)
位于java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
位于java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
运行(Thread.java:745)
我的spark群集有两个节点。Spark版本是2.1。应用程序运行两个执行器。从异常和kafka消费代码中可以看出,两个线程似乎使用了相同的kakfa消费程序。我不知道为什么两个线程访问同一个接收器。理想情况下,每个执行者应有一个专用的kafka接收器服务,由一个线程提供,该线程必须读取所有分配分区的消息。 正在从卡夫卡读取的代码片段->

JavaInputDStream<ConsumerRecord<String, String>> consumerRecords = KafkaUtils.createDirectStream(
jssc,
LocationStrategies.PreferConsistent(),
ConsumerStrategies.<String, String>Subscribe(topics, kafkaParams));
JavaInputDStream consumerRecords=KafkaUtils.createDirectStream(
jssc,
LocationStrategies.PreferConsistent(),
订阅(主题,卡夫卡帕兰));

在我的案例中,问题与卡夫卡消费者缓存大小有关。我将大小(默认值:每个执行器64个)更改为每个执行器200个(由于有200个分区,所以有200个并行使用者)。我不得不升级到Spark 2.2,因为Spark 2.1中没有更改大小的选项


spark.streaming.kafka.consumer.cache.maxCapacity=200

添加您正在使用的代码。添加了我从kafka读取的代码段。您是否在单个执行器中运行多个任务?尝试将
useConsumerCache
设置为false
KafkaConsumer
不是线程安全的,即它不能在多个线程中使用。@amethystic:我正在为每个作业进行spark提交。我仔细检查了一下,所有的任务都有各自的执行者(确切地说是一个驱动者和两个执行者)。关于这方面有更多的信息吗?我仍然面临这个问题。如果我有200个分区和2个执行器。我应该将spark.streaming.kafka.consumer.cache.maxCapacity增加到100吗?因为2个执行器*100==200?该设置是针对每个执行器VM的。因为您有200个分区,所以每个VM的分区数将是100。因此,您只需将maxCapacity设置配置为100。