Serialization Avro对象序列化与Kryo-Spark的映射
我有一个关于kryo的特定avro序列化的问题。对不起,如果这个问题似乎多余,但我没有找到一个简单的答案 我已将Spark配置为与Kryo一起运行,并且运行良好:Avro生成的类使用自定义KryoRegistrator类进行了良好的序列化。我也使用twitter.chill avro软件包Serialization Avro对象序列化与Kryo-Spark的映射,serialization,apache-spark,avro,kryo,Serialization,Apache Spark,Avro,Kryo,我有一个关于kryo的特定avro序列化的问题。对不起,如果这个问题似乎多余,但我没有找到一个简单的答案 我已将Spark配置为与Kryo一起运行,并且运行良好:Avro生成的类使用自定义KryoRegistrator类进行了良好的序列化。我也使用twitter.chill avro软件包 class AvroClassRegistrator extends KryoRegistrator { override def registerClasses(kryo: Kryo) { kr
class AvroClassRegistrator extends KryoRegistrator {
override def registerClasses(kryo: Kryo) {
kryo.register(classOf[MyAvroClass], AvroSerializer.SpecificRecordSerializer[MyAvroClass])
}
然而,当我尝试序列化Map[String,MyAvroClass]
时,使序列化工作的唯一方法是使用java.io.Serializable
扩展MyAvroClass
有人能告诉我到底发生了什么,并告诉我如何向kryo注册这个Map[…,AvroClass]
谢谢事实上,这也不起作用,序列化类中充满了null属性。