Apache spark 使用选项kafka.bootstrap.servers不使用来自spark-streaming-kafka-0-10的消息

我正在使用CDH（hadoop的cloudera发行版）的kafka

1.0.1-kafka-3.1.0-SNAPSHOT

在我的batch-1边缘服务器上，我可以生成带有以下内容的消息：

kafka-console-producer --broker-list batch-1:9092 --topic MyTopic

由于Zookeeper在我的第一个节点上提供了以下功能，我可以使用消息：

kafka-console-consumer --zookeeper data1:2181 --topic MyTopic --from-beginning

但是我使用引导服务器选项什么也得不到：

kafka-console-consumer --bootstrap-server batch-1:9092 --topic MyTopic --from-beginning

问题是我在spark上使用卡夫卡：

libraryDependencies+=“org.apache.spark”%%“spark-streaming-kafka-0-10”%%“2.3.0”

我在我的边缘做了一个

导出SPARK\u KAFKA\u VERSION=0.10

。然后

spark2-submit --driver-memory 2G --jars spark-sql-kafka-0-10_2.11-2.3.0.cloudera4.jar --class "spark.streaming.Poc" poc_spark_kafka_2.11-0.0.1.jar

这迫使我使用

kafka.bootstrap.servers

，它似乎已连接，但我无法收到任何消息

输出与带有

--引导服务器

选项的

卡夫卡控制台消费者

相同：

18/10/30 16:11:48 INFO utils.AppInfoParser: Kafka version : 0.10.0-kafka-2.1.0
18/10/30 16:11:48 INFO utils.AppInfoParser: Kafka commitId : unknown
18/10/30 16:11:48 INFO streaming.MicroBatchExecution: Starting new streaming query.

那么，什么都没有。 我应该接动物园管理员吗？怎么做

他们在这里说“结构化流媒体+卡夫卡集成指南（卡夫卡代理版本0.10.0或更高版本）”是否存在版本冲突

---

我错过了什么？

解决方案

/var/log/kafka/kafka-broker-batch-1.log

说：

2018-10-31 13:40:08284错误kafka.server.KafkaApis:[KafkaApi-51]活动代理的数量“1”不符合偏移主题所需的复制因子“3”（通过“offset.topic.replication.factor”配置）。如果群集正在启动，但并非所有代理都已启动，则可以忽略此错误。

因此，我在集群节点上部署了3个代理，并在边缘部署了一个网关，现在它可用于：

kafka控制台制作人——代理列表data1:9092、data2:9092、data3:9092——主题测试

kafka控制台使用者--引导服务器数据1:9092--主题测试--从头开始

---

Spark也很好。

你检查过你的经纪人是否真的在运行吗？当我用一个非常相似的spark流媒体程序进行本地设置时，一切正常。事实上，您的主机消费者没有显示任何内容，这让我想到，制作人有问题。从Kafka 0.9及以上版本开始，消费者和制作人都不应该使用Zookeeper。boostrap服务器的控制台使用者应该在Spark工作之前工作。此外，除非另有说明，否则Spark可能会从主题的最新偏移开始configured@ElmarMacek，我想制作人很好，因为我使用zookeeper从控制台消费者那里消费消息。@cricket_007这正是问题所在，也是我被质疑的原因：它不应该在1.0中使用zookeeper。谢谢你们的快速回答。所以，是的，使用Zookeeper会将偏移量存储在那里，而不是偏移量主题

18/10/30 16:11:48 INFO utils.AppInfoParser: Kafka version : 0.10.0-kafka-2.1.0
18/10/30 16:11:48 INFO utils.AppInfoParser: Kafka commitId : unknown
18/10/30 16:11:48 INFO streaming.MicroBatchExecution: Starting new streaming query.