Protocol buffers 烫伤+;LZO&x2B;Protobuf

Protocol buffers 烫伤+;LZO&x2B;Protobuf,protocol-buffers,lzo,scalding,Protocol Buffers,Lzo,Scalding,在HDFS上使用LZO Protobuf数据时,有没有什么指针会让人恼火 我试图读取存储在二进制Protobuf中的文件,并使用烫伤法在LZO中进行压缩。 我们能用Elephantbird读取这些文件吗?任何提示都将不胜感激 我看过LzoTraits和LzoProtobufScheme?但我不确定我应该如何使用它来读取数据?任何例子都很好 以下是一个示例: case class SomeProto() extends FixedPathSource("/my/greatData/*") wi

在HDFS上使用LZO Protobuf数据时,有没有什么指针会让人恼火

我试图读取存储在二进制Protobuf中的文件,并使用烫伤法在LZO中进行压缩。 我们能用Elephantbird读取这些文件吗?任何提示都将不胜感激

我看过LzoTraits和LzoProtobufScheme?但我不确定我应该如何使用它来读取数据?任何例子都很好

以下是一个示例:

case class SomeProto() extends FixedPathSource("/my/greatData/*")
  with LzoProtobuf[MyProtoClassHere] {
    override def column = classOf[MyProtoClassHere]
}

您可以以类似的方式与其他类型的抽象基源(如TimePathedSource或MostRecentGoodSource)混合使用。如果你想使用Hadoop内置的级联本地技巧(如果你不在级联本地模式下运行,你就不需要这个)。

谢谢,这个类也可以用来编写Lzo压缩的protobuf文件吗?另一个快速跟进问题。如何读取未经lzo压缩的二进制protobuf文件?