Apache kafka 如何并行发送/处理kafka主题/分区？

我有一个flume代理（1个源、1个通道、1个接收器），它从特定目录（Spooldir）读取数据并发送到Kafka接收器。根据我的观察，它只是写入特定的分区

---

启用对kafka主题/分区的并行发送/处理的配置是什么？

您可以尝试添加另一个使用spooldir源和通道的接收器

因此，大致如下： 下沉 -第一频道 -水槽1 -水槽2

---

不确定您是否需要另一个频道，因为您可能会重新读取来自spooldir源的项目。

默认情况下，事件通过

键

头分布在分区之间。如果您想自己对数据进行分区，则需要使用拦截器，拦截器将设置

partitionedheader

如果您需要向多个主题发送数据，而不仅仅是为同一个源添加更多频道，并将每个频道连接到卡夫卡接收器：

a1.sources.r1.channels = c1 c2

a1.sinks.k1.channel = c1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.topic = topic1
...
a1.sinks.k2.channel = c2
a1.sinks.k2.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k2.kafka.topic = topic2