Apache spark Spark Streaming readStream无法从安全卡夫卡读取(EventStreams)

Apache spark Spark Streaming readStream无法从安全卡夫卡读取(EventStreams),apache-spark,apache-kafka,spark-streaming,spark-streaming-kafka,ibm-eventstreams,Apache Spark,Apache Kafka,Spark Streaming,Spark Streaming Kafka,Ibm Eventstreams,我试图将数据从一个程序发送到一个安全的Kafka集群(IBM Cloud-Cloud Foundry Services上的EventStreams),然后在我的消费者应用程序(spark streaming)中,我试图从相同的Kafka源读取数据 以下是我在producer中设置的属性: def getProperties:Properties={ val configs=新属性() configs.put(ProducerConfig.KEY\u SERIALIZER\u CLASS\u CO

我试图将数据从一个程序发送到一个安全的Kafka集群(IBM Cloud-Cloud Foundry Services上的EventStreams),然后在我的消费者应用程序(spark streaming)中,我试图从相同的Kafka源读取数据

以下是我在producer中设置的
属性

def getProperties:Properties={
val configs=新属性()
configs.put(ProducerConfig.KEY\u SERIALIZER\u CLASS\u CONFIG,“org.apache.kafka.common.serialization.StringSerializer”)
configs.put(ProducerConfig.VALUE\u SERIALIZER\u CLASS\u CONFIG,“org.apache.kafka.common.serialization.StringSerializer”)
configs.put(ProducerConfig.CLIENT\u ID\u CONFIG,“kafka java控制台示例生成器”)
configs.put(ProducerConfig.ACKS\u CONFIG,“1”)
configs.put(CommonClientConfigs.BOOTSTRAP\u SERVERS\u CONFIG,“”)
configs.put(CommonClientConfigs.SECURITY\u PROTOCOL\u CONFIG,“SASL\u SSL”)
配置put(SaslConfigs.SASL_机制,“普通”)
configs.put(SaslConfigs.SASL\u JAAS\u CONFIG,“org.apache.kafka.common.security.plain.PlainLoginModule所需用户名=\“令牌\”密码=\“+”+“\”;”)
configs.put(SslConfigs.SSL\u协议\u配置,“TLSv1.2”)
configs.put(SslConfigs.SSL\u启用的\u协议\u配置,“TLSv1.2”)
configs.put(SslConfigs.SSL\u ENDPOINT\u IDENTIFICATION\u ALGORITHM\u CONFIG,“HTTPS”)
配置
}
下面是我用来将数据发送到Kafka集群的代码:

val producer=new KafkaProducer[String,String](getProperties)
/**逐行读取文件*/

对于(第行),我将尝试使用批处理查询(使用read而不是readStream)读取一个小批处理,然后打印该批处理(使用show())以查看是否有任何问题。如果没有,我将假设您的安全选项配置错误,我将尝试使用批处理查询(使用read而不是readStream)读取一个小批次,然后打印该批次(使用show())以查看是否有任何问题。如果没有,我将假定您的安全选项中存在配置错误
val query= df.writeStream
    .outputMode(OutputMode.Append())
    .foreachBatch((df: DataFrame , id: Long) => {
        println(df.count() + " " + id)
    })
    .trigger(Trigger.ProcessingTime(1))
    .start()

query.awaitTermination()
19/05/19 04:22:28 DEBUG SparkEnv: Using serializer: class org.apache.spark.serializer.JavaSerializer
19/05/19 04:22:28 INFO SparkEnv: Registering MapOutputTracker
19/05/19 04:22:28 INFO SparkEnv: Registering BlockManagerMaster
19/05/19 04:22:28 INFO SparkEnv: Registering OutputCommitCoordinator
0 0