从hadoop到kafak的NiFi仅提供一次保证

从hadoop到kafak的NiFi仅提供一次保证,hadoop,apache-kafka,apache-nifi,Hadoop,Apache Kafka,Apache Nifi,NiFi是否可以从hdfs(或hive)读取数据行并将数据行发布到kafka,并提供一次交付保证?从NiFi发布到kafka至少有一次保证,因为在kafka已经收到消息之后,但在NiFi收到响应之前,可能会发生故障,这可能是由于网络问题,或者nifi就在那个时候坠毁并重新启动 在上述任何情况下,流文件都会放回发布kafka处理器之前的原始队列中(即,会话从未提交),因此会再次尝试 由于线程模型中可能有不同的线程执行处理器,因此无法保证最初发布的同一线程将是执行重试的同一线程,因此无法使用“幂等生

NiFi是否可以从hdfs(或hive)读取数据行并将数据行发布到kafka,并提供一次交付保证?

从NiFi发布到kafka至少有一次保证,因为在kafka已经收到消息之后,但在NiFi收到响应之前,可能会发生故障,这可能是由于网络问题,或者nifi就在那个时候坠毁并重新启动

在上述任何情况下,流文件都会放回发布kafka处理器之前的原始队列中(即,会话从未提交),因此会再次尝试

由于线程模型中可能有不同的线程执行处理器,因此无法保证最初发布的同一线程将是执行重试的同一线程,因此无法使用“幂等生产者”概念