Apache storm 从卡夫卡检索主题并发送到相应的喷口和螺栓

我正在为卡夫卡制作多个主题。我想从卡夫卡检索所有主题，我有不同的喷口和螺栓。我想将每个主题发送到相应的喷口和相关螺栓（例如，对于主题1，我有相应的喷口1和螺栓1，对于主题2，我有相应的喷口2和螺栓2等等）

---

我怎样才能做到这一点？

虽然我无法确切了解您想要做什么（您是否为每个主题运行了单独的拓扑结构？），但通常您可以做的是，在您的配偶中创建一个消费者，该消费者将订阅topic1，并在收到topic1后立即发送值。然后将输出链接到相应的螺栓，以便进一步执行

但据我所知，您应该看看github storm contrib项目下的实现。它基本上是一个从Kafka集群读取的喷口实现，您所需要的只是正确地创建配置

从文档来看，基本上是这样的

    SpoutConfig spoutConfig = new SpoutConfig(
               ImmutableList.of("kafkahost1", "kafkahost2"), // list of Kafka brokers
               8, // number of partitions per host
               "clicks", // topic to read from
               "/kafkastorm", // the root path in Zookeeper for the spout to store the consumer offsets
               "discovery"); // an id for this consumer for storing the consumer offsets in Zookeeper
    KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);

---

这里要提到的一点是，上面的实现使用Kafka 0.7，因此，如果您使用最新的（0.8，您应该）实现，您可以找到0.8支持，而我无法确切了解您想要做什么（您是否为每个主题运行单独的拓扑？），通常您可以做的是，在您的应用程序1中，创建一个消费者，该消费者将订阅topic1，并在收到topic1后立即发送值。然后将输出链接到相应的螺栓，以便进一步执行

但据我所知，您应该看看github storm contrib项目下的实现。它基本上是一个从Kafka集群读取的喷口实现，您所需要的只是正确地创建配置

从文档来看，基本上是这样的

    SpoutConfig spoutConfig = new SpoutConfig(
               ImmutableList.of("kafkahost1", "kafkahost2"), // list of Kafka brokers
               8, // number of partitions per host
               "clicks", // topic to read from
               "/kafkastorm", // the root path in Zookeeper for the spout to store the consumer offsets
               "discovery"); // an id for this consumer for storing the consumer offsets in Zookeeper
    KafkaSpout kafkaSpout = new KafkaSpout(spoutConfig);

---

这里要提到的一点是，上面的实现使用了Kafka 0.7，因此，如果您正在使用最新的（0.8，您应该）实现，您可以找到0.8支持

我创建了一个演示Kafka喷口项目，您应该能够将其用作起点：

关于/

---

chris

我创建了一个卡夫卡喷口演示项目，您应该可以将其用作起点：

关于/

克里斯