Apache spark Spark结构化流媒体如何以Protobuf格式写入Kafka 火花:3.0.0 斯卡拉:2.12 汇合
我正在进行spark结构化流媒体工作,并寻找一个以Protbuf格式将数据帧写入Kafka的示例 我从PostgreSQL中读取消息,在完成所有转换后,会有一个带有Key和Value的数据框:Apache spark Spark结构化流媒体如何以Protobuf格式写入Kafka 火花:3.0.0 斯卡拉:2.12 汇合,apache-spark,protocol-buffers,confluent-platform,confluent-schema-registry,spark-streaming-kafka,Apache Spark,Protocol Buffers,Confluent Platform,Confluent Schema Registry,Spark Streaming Kafka,我正在进行spark结构化流媒体工作,并寻找一个以Protbuf格式将数据帧写入Kafka的示例 我从PostgreSQL中读取消息,在完成所有转换后,会有一个带有Key和Value的数据框: root |-- key: string (nullable = true) |-- value: binary (nullable = false) 将消息推送到卡夫卡的代码: val kafkaOptions = Seq( KAFKA_BOOTSTRAP_SERVERS_CON
root
|-- key: string (nullable = true)
|-- value: binary (nullable = false)
将消息推送到卡夫卡的代码:
val kafkaOptions = Seq(
KAFKA_BOOTSTRAP_SERVERS_CONFIG -> "localhost:9092",
ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG -> "org.apache.kafka.common.serialization.StringSerializer",
ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG -> "io.confluent.kafka.serializers.protobuf.KafkaProtobufSerializer",
"schema.registry.url" -> "http://localhost:8081",
"topic" -> "test_users"
)
tDF
.write
.format(KAFKA)
.options(kafkaOptions.toMap)
.save()
发布了二进制格式的消息,但我无法反序列化,因为confluent中并没有模式
有没有一个lib可以简单地为我做一些事情?或者我可以参考的示例代码