Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/apache-kafka/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 主题不';在卡夫卡,我们不可能像预期的那样存在_Apache Spark_Apache Kafka_Apache Zookeeper - Fatal编程技术网

Apache spark 主题不';在卡夫卡,我们不可能像预期的那样存在

Apache spark 主题不';在卡夫卡,我们不可能像预期的那样存在,apache-spark,apache-kafka,apache-zookeeper,Apache Spark,Apache Kafka,Apache Zookeeper,运行此命令后: bin/kafka-topics.bat--列表--引导服务器localhost:6666,localhost:6667,localhost:6668,localhost:6669 输出测试 After running this command : bin/kafka-topics.bat——描述——引导服务器localhost:6666、localhost:6667、localhost:6668、localhost:6669——主题测试 错误: java.lang.Illeg

运行此命令后:

bin/kafka-topics.bat--列表--引导服务器localhost:6666,localhost:6667,localhost:6668,localhost:6669

输出测试

After running this command :
bin/kafka-topics.bat——描述——引导服务器localhost:6666、localhost:6667、localhost:6668、localhost:6669——主题测试

错误:

java.lang.IllegalArgumentException:主题“测试”不存在 在kafka.admin.TopicCommand$.kafka$admin$TopicCommand$$ensureTopicExists(TopicCommand.scala:523) 位于kafka.admin.TopicCommand$AdminClientTopicService.describeTopic(TopicCommand.scala:301) 位于kafka.admin.TopicCommand$.main(TopicCommand.scala:68) 位于kafka.admin.TopicCommand.main(TopicCommand.scala)


主题名称与主题元数据、主题中每个分区的标题等一起存储在zookeeper中

在您的情况下,zookeeper似乎有此信息,但可能卡夫卡数据已损坏或已删除

停止kafka,zookeeper,删除zookeeper数据目录,kafka数据目录,然后再次启动这两项服务


重新创建您的主题,它应该可以正常工作。

我创建了4个代理,复制因子为3,我正在检查所有代理。这就是为什么它没有显示主题。当我检查了3个代理时,它给了我正确的信息,没有给出任何错误。

您必须事先创建主题,或者您可以配置Kafka自动创建主题。@daniu我已经创建了主题实际上我创建了4个主机,但复制因子是3,这就是为什么它没有显示主题。感谢Suhas NMI,我看不到主题可见和复制因子之间的关系。您不能定义大于代理数的复制因子。不,Kafka不是这样工作的,您的主题信息存储在zookeeper中,您应该能够生成/使用所有节点,而不考虑复制因子以及该节点是否包含指定主题中分区的数据。是的,数据将在所有代理上复制。你可能想到的是消费者;如果您有4个,其中一个将不会收到该主题的消息。
Can anybody help me in solving this issue?