Apache kafka 卡夫卡喷口错误“;消费者未订阅任何主题或分配任何分区”;
我使用的是Storm版本1.1.0和Kafka版本0.10.1.2 我正在创建卡夫卡喷口,如下所示:Apache kafka 卡夫卡喷口错误“;消费者未订阅任何主题或分配任何分区”;,apache-kafka,apache-storm,Apache Kafka,Apache Storm,我使用的是Storm版本1.1.0和Kafka版本0.10.1.2 我正在创建卡夫卡喷口,如下所示: public KafkaSpout<String, String> getKafkaSpout() { String _kafkaBrokers = (String) props.get("bootstrap.servers"); String _topic = (String) props.get("kafka.topic.name"); String gr
public KafkaSpout<String, String> getKafkaSpout() {
String _kafkaBrokers = (String) props.get("bootstrap.servers");
String _topic = (String) props.get("kafka.topic.name");
String groupId = (String) props.get("group.id");
int maxMsgSize = (int) props.get("fetch.message.max.bytes");
String keySerializer = (String) props.get("key.serializer");
String valueSerializer = (String) props.get("value.serializer");
List<String>topics = new ArrayList<String>(`enter code here`);
topics.add(_topic);
return new KafkaSpout<String, String (KafkaSpoutConfig.builder(_kafkaBrokers, topics)
.setFirstPollOffsetStrategy(FirstPollOffsetStrategy.UNCOMMITTED_EARLIEST)
.setMaxUncommittedOffsets(100)
.setProp(ConsumerConfig.GROUP_ID_CONFIG, groupId)
.setProp(ConsumerConfig.MAX_PARTITION_FETCH_BYTES_CONFIG,maxMsgSize)
.setProp("key.serializer",keySerializer)
.setProp("value.serializer",valueSerializer)
.build())
}
除了其他依赖项之外,我在下面提到了项目中的maven依赖项
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka-client</artifactId>
<version>1.1.0.2.6.2.0-205</version>
</dependency>
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka</artifactId>
<version>1.1.0.2.6.2.0-205</version>
</dependency>
org.apache.storm
暴风卡夫卡客户端
1.1.0.2.6.2.0-205
org.apache.storm
卡夫卡风暴
1.1.0.2.6.2.0-205
我假设Listtopics=new ArrayList(“在此处输入代码”)你的问题是什么?您可能需要在该列表中填写您的主题名称
你的依赖版本很奇怪,AFAIK Storm没有发布任何版本字符串
我还想知道为什么您需要storm kafka客户端(用于kafka>0.10集群)和storm kafka客户端(用于较旧的kafka集群)(但我认为目前仍与最新的kafka兼容)。我假设Listtopics=new ArrayList(“在此处输入代码”)你的问题是什么?您可能需要在该列表中填写您的主题名称
你的依赖版本很奇怪,AFAIK Storm没有发布任何版本字符串
我还想知道为什么您需要storm kafka客户端(用于kafka>0.10集群)和storm kafka客户端(用于较旧的kafka集群)(但我认为目前仍与最新的kafka兼容)
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka-client</artifactId>
<version>1.1.0.2.6.2.0-205</version>
</dependency>
<dependency>
<groupId>org.apache.storm</groupId>
<artifactId>storm-kafka</artifactId>
<version>1.1.0.2.6.2.0-205</version>
</dependency>