Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark spark.streaming.kafka.consumer.cache.enabled属性工作/对kafka使用者性能的影响_Apache Spark_Apache Kafka_Spark Streaming - Fatal编程技术网
Fatal编程技术网
  • apache-spark/
  • Apache spark spark.streaming.kafka.consumer.cache.enabled属性工作/对kafka使用者性能的影响

Apache spark spark.streaming.kafka.consumer.cache.enabled属性工作/对kafka使用者性能的影响

apache-spark apache-kafka

Apache spark spark.streaming.kafka.consumer.cache.enabled属性工作/对kafka使用者性能的影响,apache-spark,apache-kafka,spark-streaming,Apache Spark,Apache Kafka,Spark Streaming,我在应用程序的属性中遇到了configspark.streaming.kafka.consumer.cache.enabled=false，令人惊讶的是，我的团队中没有人知道这如何帮助我们实现更好的性能。它是根据Cloudera的支持建议添加的。我在Spark文档中找不到任何关于该属性的详细解释。任何人都可以帮助我了解此配置如何影响Kafka消费者性能。，您可以看到它有一个useCache:Boolean值，并且似乎正在根据组id和主题+分区分配将内部Kafka消费者对象放入此缓存 我不知道为什

我在应用程序的属性中遇到了configspark.streaming.kafka.consumer.cache.enabled=false，令人惊讶的是，我的团队中没有人知道这如何帮助我们实现更好的性能。它是根据Cloudera的支持建议添加的。我在Spark文档中找不到任何关于该属性的详细解释。任何人都可以帮助我了解此配置如何影响Kafka消费者性能。

，您可以看到它有一个
useCache:Boolean
值，并且似乎正在根据组id和主题+分区分配将内部Kafka消费者对象放入此缓存

我不知道为什么不缓存消费者会“更高效”，但我可以猜测，不缓存消费者会让卡夫卡消费群体的再平衡“更好”

如果您认为此属性缺少必要的文档，那么我建议打开JIRA