Apache kafka 水槽-HDFS水槽批量大小不工作_Apache Kafka_Hdfs_Flume

Apache kafka 水槽-HDFS水槽批量大小不工作

apache-kafka

Apache kafka 水槽-HDFS水槽批量大小不工作,apache-kafka,hdfs,flume,Apache Kafka,Hdfs,Flume,我有一个卡夫卡源，内存通道和HDFS接收器组成。我想做的是将来自Kafka源的4条消息堆叠起来，然后在一个事务中将它们放入HDFS中 agent.sinks.HDFS.hdfs.batchSize = 4 agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S agent.sinks.HDFS.hdfs.fileType = DataStream agent.sinks.HDFS.hdfs

我有一个卡夫卡源，内存通道和HDFS接收器组成。我想做的是将来自Kafka源的4条消息堆叠起来，然后在一个事务中将它们放入HDFS中

agent.sinks.HDFS.hdfs.batchSize = 4
agent.sinks.HDFS.hdfs.path = hdfs://127.0.0.1:54310/flume/events/%y-%m-%d/%H%M/%S
agent.sinks.HDFS.hdfs.fileType = DataStream
agent.sinks.HDFS.hdfs.writeFormat = Text
agent.sinks.HDFS.hdfs.rollCount = 2
agent.sinks.HDFS.hdfs.rollInterval = 0
agent.sinks.HDFS.hdfs.rollSize = 0

我不知道为什么，但如果我每10分钟发送一次事件，它应该在40分钟后将数据注册到HDFS中，但在第一次事件之后会这样做