Apache kafka 如何使用Kafka管理Spark流媒体流程的故障切换_Apache Kafka_Spark Streaming

Apache kafka 如何使用Kafka管理Spark流媒体流程的故障切换

apache-kafka

Apache kafka 如何使用Kafka管理Spark流媒体流程的故障切换,apache-kafka,spark-streaming,Apache Kafka,Spark Streaming,我正在使用Spark的直接流式API来获取Spark流式处理批次。但由于直接流API不与Zookeeper同步偏移量，因此我们丢失了spark流应用程序关闭时接收到的事件。我想知道解决这个问题的推荐方法是什么

我正在使用Spark的直接流式API来获取Spark流式处理批次。但由于直接流API不与Zookeeper同步偏移量，因此我们丢失了spark流应用程序关闭时接收到的事件。我想知道解决这个问题的推荐方法是什么