Hadoop Pig中文件存储的实现

Hadoop Pig中文件存储的实现,hadoop,hdfs,apache-pig,Hadoop,Hdfs,Apache Pig,有人知道如何在Pig中使用ORC文件输入/输出吗? 我在大象鸟中发现了对RCF文件的某种支持,但似乎不支持ORC格式。。。 能否提供一个使用Pig访问/存储Pig中ORC文件的示例?使用存储为ORC的HCat CLI定义一个HCatalog表。然后使用org.apache.HCatalog.Pig.HCatLoader()或使用org.apache.HCatalog.Pig.HCatStorer()在Pig中加载关系使用存储为ORC的HCat CLI定义一个HCatalog表。然后使用org.a

有人知道如何在Pig中使用ORC文件输入/输出吗? 我在大象鸟中发现了对RCF文件的某种支持,但似乎不支持ORC格式。。。
能否提供一个使用Pig访问/存储Pig中ORC文件的示例?

使用存储为ORC的HCat CLI定义一个HCatalog表。然后使用org.apache.HCatalog.Pig.HCatLoader()或使用org.apache.HCatalog.Pig.HCatStorer()在Pig中加载关系

使用存储为ORC的HCat CLI定义一个HCatalog表。然后使用org.apache.HCatalog.pig.HCatLoader()或使用org.apache.HCatalog.pig.HCatStorer()在pig中加载关系。

通过pig对ORC存储的支持尚未提交并且正在积极开发中。请参阅Apache JIRA PIG-3558。接下来,您将能够通过Pig脚本访问ORC文件,如下所示

load 'foo.orc' using OrcStorage();
...
store .. using OrcStorage('-c SNAPPY');

通过Pig对ORC储存的支持尚未承诺,且正在积极开发中。请参阅Apache JIRA PIG-3558。接下来,您将能够通过Pig脚本访问ORC文件,如下所示

load 'foo.orc' using OrcStorage();
...
store .. using OrcStorage('-c SNAPPY');

谢谢,我会试试。。。不幸的是,当HCatalog无法管理hive和pigok之间的布尔值时,我有过糟糕的经历,只是检查了源代码-HCatalog仍然不支持布尔值,我会尝试一下。。。不幸的是,当HCatalog无法管理hive和pigok之间的布尔值时,我有过糟糕的经历,只是检查了源代码——HCatalog仍然不支持布尔值