Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/unity3d/4.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 如何使用PIG在HDFS中存储Avro格式?_Hadoop_Apache Pig_Avro - Fatal编程技术网

Hadoop 如何使用PIG在HDFS中存储Avro格式?

Hadoop 如何使用PIG在HDFS中存储Avro格式?,hadoop,apache-pig,avro,Hadoop,Apache Pig,Avro,在处理输入数据之后,我得到了一个JAVA对象。我已经创建了用于将对象存储在avro文件中的avro模式。我一直在使用模式将对象写入HDFS。有人能告诉我使用PIG脚本和相应的UDF编写对象的过程吗?如果使用Java,我想您使用的是UDF 因此,您只需将UDF的结果作为pig元组返回 然后,您将获得一个与数据的关系,以便存储 最后,您可以使用AvroStorage使用STORE命令。有没有办法将JAVA对象转换为pig元组?另外,您能否共享使用avro模式文件存储元组的语法?我一直在寻找将avro

在处理输入数据之后,我得到了一个JAVA对象。我已经创建了用于将对象存储在avro文件中的avro模式。我一直在使用模式将对象写入HDFS。有人能告诉我使用PIG脚本和相应的UDF编写对象的过程吗?

如果使用Java,我想您使用的是UDF

因此,您只需将UDF的结果作为pig元组返回

然后,您将获得一个与数据的关系,以便存储


最后,您可以使用AvroStorage使用STORE命令。

有没有办法将JAVA对象转换为pig元组?另外,您能否共享使用avro模式文件存储元组的语法?我一直在寻找将avrostorage与模式文件一起使用的正确语法,但找不到:|我无法将JAVA对象转换为元组,因为JAVA对象非常复杂。它涉及到
列表
映射
、用户定义对象(从其他类派生)和pig不支持用户定义类:|当然,您可以将列表设置为元组,将映射设置为pig映射。。。您将所有的结构存储在最终的元组中(即udf返回的),那么用户定义的类Struct呢?