Apache kafka Spark结构化流媒体与卡夫卡版本2

我们将卡夫卡版本从0.9更新为2.0

需要帮助为spark结构化流媒体找到合适的客户端库吗

"org.apache.spark" %% "spark-streaming-kafka-0-10" % "2.3.0"

不起作用

这是它抛出的错误：

11:46:18.061[id=e393ea37-8009-4ce0-b996-94F76794FB8，runId=bc15eb7d-876d-4e01-8ee5-22205ec7fdcb]的流执行线程调试org.apache.kafka.clients.NetworkClient-[Consumer clientId=Consumer-2，groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1055425-driver-0]与节点-1的连接已完成。获取API版本。
11:46:18.061[id=e393ea37-8009-4ce0-b996-94F76994FB8，runId=bc15eb7d-876d-4e01-8ee5-22205ec7fdcb的流执行线程]]DEBUG org.apache.kafka.clients.NetworkClient-[Consumer clientId=Consumer-2，groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1055425-driver-0]启动从节点1获取API版本。
11:46:18.452[id=e393ea37-8009-4ce0-b996-94F76994FB8，runId=bc15eb7d-876d-4e01-8ee5-22205ec7fdcb]的流执行线程调试org.apache.kafka.common.network.Selector-[Consumer clientId=Consumer-2，groupId=spark-kafka-source-8ce7f26f-e342-4b0d-85f1-a9f641b79629-1052905425-driver-0]与kafka-muhammad-45e0.aivencloud.com/18.203.67.147的连接已断开
java.io.EOFException:null
位于org.apache.kafka.common.network.NetworkReceive.readFrom（NetworkReceive.java:119）
位于org.apache.kafka.common.network.KafkaChannel.receive（KafkaChannel.java:335）
位于org.apache.kafka.common.network.KafkaChannel.read（KafkaChannel.java:296）
在org.apache.kafka.common.network.Selector.attemptRead（Selector.java:560）

请提供更多信息（错误如何？！）。Kafka代理被设计为向后兼容，这有助于显著落后于最新API（如Spark）的项目

---

您正在引用的artifactId

spark-streaming-kafka-0-10

用于，为了使用，您需要使用

spark-sql-kafka-0-10_2.11

添加日志。另外，我正在使用

spark-sql-kafka-0-10_2.11

和

spark-streaming-kafka-0-10

查找支持kafka2.0的库正如我所说，kafka 2.0可以用作您指定的spark库的代理。您粘贴的EOF错误看起来像是卡夫卡代理在一段空闲时间后关闭了您的连接。除非您提供生成该错误的代码，否则我无法提供更多帮助。不用担心，Chris，我没有正确传递ssl属性。ssl、truststore属性必须以

kafka作为前缀。

I最初使用的是“ssl.truststore.location”而不是“kafka.ssl.truststore.location”