Apache spark Spark streaming（Spark 1.6），采用Kafka 0.10的CommitAsync API_Apache Spark_Apache Kafka_Spark Streaming_Spark Streaming Kafka

Apache spark Spark streaming（Spark 1.6），采用Kafka 0.10的CommitAsync API

apache-spark apache-kafka

Apache spark Spark streaming（Spark 1.6），采用Kafka 0.10的CommitAsync API,apache-spark,apache-kafka,spark-streaming,spark-streaming-kafka,Apache Spark,Apache Kafka,Spark Streaming,Spark Streaming Kafka,我们需要使用Kafka consumer的commitAsyncAPI。卡夫卡0.9版和0.10版都有可以将Spark streaming 1.6版本与Kafka 0.10一起使用吗根据我读到的博客和网站，Kafka 0.10仅由spark streaming（spark 2.1.X）版本使用/支持卡夫卡本身在下面的链接中指出：你误解了博客，Spark 1.6肯定与Kafka 0.10配合使用commitAsyncAPI仅在Spark 2.0中公开，但是您可以通过其他方式手动存储偏移量。

我们需要使用Kafka consumer的

commitAsync

API。卡夫卡0.9版和0.10版都有

可以将Spark streaming 1.6版本与Kafka 0.10一起使用吗

根据我读到的博客和网站，Kafka 0.10仅由spark streaming（spark 2.1.X）版本使用/支持

卡夫卡本身在下面的链接中指出：

你误解了博客，Spark 1.6肯定与Kafka 0.10配合使用

commitAsync

API仅在Spark 2.0中公开，但是您可以通过其他方式手动存储偏移量。是的，可以通过其他方式保存偏移量。但我们正在寻找CommitAsync来处理这个问题，所以我们不需要从外部处理补偿的保存。因此，为了确认我们是否可以将CommitAsyncAPI与spark 1.6一起使用，它实际上并不存在！转到并搜索

commitAsync

。然后将分支更改为1.6，重复，看看会发生什么