Apache spark Spark结构化流媒体如何以Protobuf格式写入Kafka 火花:3.0.0 斯卡拉:2.12 汇合

Apache spark Spark结构化流媒体如何以Protobuf格式写入Kafka 火花:3.0.0 斯卡拉:2.12 汇合,apache-spark,protocol-buffers,confluent-platform,confluent-schema-registry,spark-streaming-kafka,Apache Spark,Protocol Buffers,Confluent Platform,Confluent Schema Registry,Spark Streaming Kafka,我正在进行spark结构化流媒体工作,并寻找一个以Protbuf格式将数据帧写入Kafka的示例 我从PostgreSQL中读取消息,在完成所有转换后,会有一个带有Key和Value的数据框: root |-- key: string (nullable = true) |-- value: binary (nullable = false) 将消息推送到卡夫卡的代码: val kafkaOptions = Seq( KAFKA_BOOTSTRAP_SERVERS_CON

我正在进行spark结构化流媒体工作,并寻找一个以Protbuf格式将数据帧写入Kafka的示例

我从PostgreSQL中读取消息,在完成所有转换后,会有一个带有Key和Value的数据框:

root
 |-- key: string (nullable = true)
 |-- value: binary (nullable = false)

将消息推送到卡夫卡的代码:

  val kafkaOptions = Seq(
      KAFKA_BOOTSTRAP_SERVERS_CONFIG -> "localhost:9092",
      ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG -> "org.apache.kafka.common.serialization.StringSerializer",
      ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG -> "io.confluent.kafka.serializers.protobuf.KafkaProtobufSerializer",
      "schema.registry.url" -> "http://localhost:8081",
      "topic" -> "test_users"
    )

 tDF
      .write
      .format(KAFKA)
      .options(kafkaOptions.toMap)
      .save()

发布了二进制格式的消息,但我无法反序列化,因为confluent中并没有模式

有没有一个lib可以简单地为我做一些事情?或者我可以参考的示例代码