Json 使用python在kafka中进行微批处理

我正在开发一个基于kafka的消费者api，它从一个主题中读取json数据并将其写入CSV文件

我在这里面临的问题是，我每天需要每隔6个小时写4个文件，但我的卡夫卡消费者在消费的过程中一直在写一个文件

---

如何实现特定用例？

您必须使用Python吗？Kafka Connect S3/HDFS接收器已通过TimestampPartitioner@OneCricketeer谢谢你提供的信息。我不允许在这里使用Hadoop，实际上我应该用kafka python来做。我还使用简单的csv文件来存储数据。使用hdfs会更容易。kafka Connect是作为kafka的一部分捆绑的。它与Hadoop无关。HDFS客户端可用于通过

文件写入本地磁盘：//

urialternative，Spark或Flink可用于创建6小时的数据窗口。。。我的主要观点是，您必须自己重写这个窗口逻辑，并且存在更好的解决方案