Hive 将架构写入现有ORC文件

Hive 将架构写入现有ORC文件,hive,orc,Hive,Orc,我们面临以下问题:我们使用hive 1.2.x来写入orc文件,这是一个已知的问题,版本2.x之前的hive没有将orc列名写入orc文件(它只写入列0、列1等)。 我们希望使用另一个应用程序,该应用程序从orc文件读取架构,但无法连接到hcat metastore以获取正确的列名。不幸的是,我们没有机会升级到2.x版的hive 是否有任何解决方案可以在这些现有orc文件中“附加”或替换正确的列名?感谢advnace提供的帮助。HDFS文件根据定义是不可变的(好的,现在您可以附加或截断现有文件,

我们面临以下问题:我们使用hive 1.2.x来写入orc文件,这是一个已知的问题,版本2.x之前的hive没有将orc列名写入orc文件(它只写入列0、列1等)。 我们希望使用另一个应用程序,该应用程序从orc文件读取架构,但无法连接到hcat metastore以获取正确的列名。不幸的是,我们没有机会升级到2.x版的hive


是否有任何解决方案可以在这些现有orc文件中“附加”或替换正确的列名?感谢advnace提供的帮助。

HDFS文件根据定义是不可变的(好的,现在您可以附加或截断现有文件,但无法更改特定位置的某些字节),因此我无法想象您如何将ORC页脚重写到位。您必须重新创建整个文件,例如使用Spark。