Apache spark 主题不';在卡夫卡,我们不可能像预期的那样存在
运行此命令后:Apache spark 主题不';在卡夫卡,我们不可能像预期的那样存在,apache-spark,apache-kafka,apache-zookeeper,Apache Spark,Apache Kafka,Apache Zookeeper,运行此命令后: bin/kafka-topics.bat--列表--引导服务器localhost:6666,localhost:6667,localhost:6668,localhost:6669 输出测试 After running this command : bin/kafka-topics.bat——描述——引导服务器localhost:6666、localhost:6667、localhost:6668、localhost:6669——主题测试 错误: java.lang.Illeg
bin/kafka-topics.bat--列表--引导服务器localhost:6666,localhost:6667,localhost:6668,localhost:6669
输出测试
After running this command :
bin/kafka-topics.bat——描述——引导服务器localhost:6666、localhost:6667、localhost:6668、localhost:6669——主题测试
错误:
java.lang.IllegalArgumentException:主题“测试”不存在
在kafka.admin.TopicCommand$.kafka$admin$TopicCommand$$ensureTopicExists(TopicCommand.scala:523)
位于kafka.admin.TopicCommand$AdminClientTopicService.describeTopic(TopicCommand.scala:301)
位于kafka.admin.TopicCommand$.main(TopicCommand.scala:68)
位于kafka.admin.TopicCommand.main(TopicCommand.scala)
主题名称与主题元数据、主题中每个分区的标题等一起存储在zookeeper中
在您的情况下,zookeeper似乎有此信息,但可能卡夫卡数据已损坏或已删除
停止kafka,zookeeper,删除zookeeper数据目录,kafka数据目录,然后再次启动这两项服务
重新创建您的主题,它应该可以正常工作。我创建了4个代理,复制因子为3,我正在检查所有代理。这就是为什么它没有显示主题。当我检查了3个代理时,它给了我正确的信息,没有给出任何错误。您必须事先创建主题,或者您可以配置Kafka自动创建主题。@daniu我已经创建了主题实际上我创建了4个主机,但复制因子是3,这就是为什么它没有显示主题。感谢Suhas NMI,我看不到主题可见和复制因子之间的关系。您不能定义大于代理数的复制因子。不,Kafka不是这样工作的,您的主题信息存储在zookeeper中,您应该能够生成/使用所有节点,而不考虑复制因子以及该节点是否包含指定主题中分区的数据。是的,数据将在所有代理上复制。你可能想到的是消费者;如果您有4个,其中一个将不会收到该主题的消息。
Can anybody help me in solving this issue?