Apache kafka 从Kafka接收空数据-Spark流
为什么当我阅读卡夫卡的主题时会收到空的数据消息? 解码器有问题吗 *没有错误或例外 代码: 卡夫卡解码器:Apache kafka 从Kafka接收空数据-Spark流,apache-kafka,spark-streaming,Apache Kafka,Spark Streaming,为什么当我阅读卡夫卡的主题时会收到空的数据消息? 解码器有问题吗 *没有错误或例外 代码: 卡夫卡解码器: class QueueStatusMessageKafkaDeserializer(props: VerifiableProperties = null) extends Decoder[QueueStatusMessage] { override def fromBytes(bytes: Array[Byte]): QueueStatusMessage = QueueStatusMe
class QueueStatusMessageKafkaDeserializer(props: VerifiableProperties = null) extends Decoder[QueueStatusMessage] {
override def fromBytes(bytes: Array[Byte]): QueueStatusMessage = QueueStatusMessage.parseFrom(bytes)
}
(空)结果:
解决方案: 只是在卡夫卡主题图中严格指定了类型:
val kafkaTopics = Map[String, Int]("queue_status" -> 1)
仍然不知道问题的原因,但代码现在运行良好。当您获得>15的声誉时,您应该回答自己的问题:
-------------------------------------------
Time: 1440010266000 ms
-------------------------------------------
(null,QueueStatusMessage(,,0,None,None))
(null,QueueStatusMessage(,,0,None,None))
(null,QueueStatusMessage(,,0,None,None))
(null,QueueStatusMessage(,,0,None,None))
val kafkaTopics = Map[String, Int]("queue_status" -> 1)