Scala 卡夫卡0.10是否与Spark 1.6.2兼容?

Scala 卡夫卡0.10是否与Spark 1.6.2兼容?,scala,apache-spark,apache-kafka,Scala,Apache Spark,Apache Kafka,如果我使用Spark 1.6.2、Scala 2.10和Spark-streaming-kafka_2.10,我可以从Scala代码中使用来自kafka 0.10.1.0的消息吗?(有一台远程计算机具有Kafka 0.10.1.0、代理间协议版本:0.10.1.0和Scala 2.11)。或者这是否意味着我应该使用Spark 2.* <dependency> <groupId>org.apache.spark</groupId> <artif

如果我使用Spark 1.6.2、Scala 2.10和
Spark-streaming-kafka_2.10
,我可以从Scala代码中使用来自kafka 0.10.1.0的消息吗?(有一台远程计算机具有Kafka 0.10.1.0、代理间协议版本:0.10.1.0和Scala 2.11)。或者这是否意味着我应该使用Spark 2.*

<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-streaming-kafka_2.10</artifactId>
   <version>1.6.2</version>
</dependency>
例如,为了使用消息,Scala不处理Kafka队列参数(代理列表、zookeeper ip等),而是直接将它们发送给Kafka,由Kafka进行解释。对吗?在这种情况下,为什么卡夫卡0.10不支持Spark 1.6.2

更新:

据我所知,可以使用我在POM(见上文)中指定的卡夫卡来使用来自卡夫卡0.10.1.0的消息,但不确定。卡夫卡客户机是什么意思?它是指安装在远程服务器上的卡夫卡(即卡夫卡0.10.1.0)还是指我在POM中指定的我的卡夫卡?

0.10.1.0 这取决于您安装的卡夫卡版本。官方为每个版本提供两个二进制文件。如果您安装了scala 2.10,则应安装scala 2.10-kafka_2.10-0.10.1.0.tgz,否则应安装scala 2.11-kafka_2.11-0.10.1.0.tgz 0.10.1.0 这取决于您安装的卡夫卡版本。官方为每个版本提供两个二进制文件。如果您安装了scala 2.10,则应安装scala 2.10-kafka_2.10-0.10.1.0.tgz,否则应安装scala 2.11-kafka_2.11-0.10.1.0.tgz

为了确保我能正确理解:如果远程群集上安装了Kafka 0.10.1.0和Scala 2.11,则不建议使用Scala 2.10使用此群集主题中的消息,对吗?请注意,我的消费者代码是在AWS机器上执行的,而不是在运行Kafka群集的机器上。哦,在这种情况下,它可能没问题。请确保我正确理解它:如果远程群集上安装了Kafka 0.10.1.0和Scala 2.11,不建议使用Scala 2.10使用来自此集群主题的消息,对吗?请注意,我的消费者代码是在AWS机器上执行的,而不是在运行Kafka群集的机器上执行的。哦,在这种情况下,它可能没问题。
Kafka 0.10 support is only coming with Spark 2.0 on Scala and Java workloads