Apache spark readStream kafka没有'；我得不到任何价值

我试图通过Spark shell内部的Spark结构化流媒体来阅读卡夫卡主题，但似乎我没有从卡夫卡那里得到任何线索

卡夫卡单独工作很好（与控制台消费者和控制台生产者一起测试）：

这是我在spark shell中运行的代码：

ds1=spark
.readStream
.格式（“卡夫卡”）
.option（“kafka.bootstrap.servers”，“localhost:2181”）
.选项（“订阅”、“测试主题”）
.选项（“起始偏移量”、“最早”）
.load（）
ds1.writeStream.format（“控制台”）.start

我希望我得到的信息已经存储在卡夫卡这个主题中，所有的信息都将打印在Spark shell中。但是没有印刷品。 我的错在哪里？

---

我正在使用Spark 2.0.2和Kafka 010.2。

您需要更改Kafka引导服务器的端口。像这样-

ds1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "localhost:9092")
  .option("subscribe", "testtopic")
  .option("startingOffsets" , "earliest")
  .load()

ds1.writeStream.format("console").start

然后您将能够从

readStream

获取值

---

我希望有帮助

现在它起作用了。谢谢。我不能使用zookeeper端口，而是为代理指定的端口。

ds1 = spark
  .readStream
  .format("kafka")
  .option("kafka.bootstrap.servers", "localhost:9092")
  .option("subscribe", "testtopic")
  .option("startingOffsets" , "earliest")
  .load()

ds1.writeStream.format("console").start