Thrift 拼花地板:元数据和公共_元数据之间的区别

Thrift 拼花地板:元数据和公共_元数据之间的区别,thrift,parquet,Thrift,Parquet,在编写元数据文件时,ThriftParquetWriter实际上会生成两个文件:\u metadata和\u common\u metadata 这两个文件有什么区别?他们有不同的文件大小,所以一定有差异 感谢您查看的源代码,在我看来: \u common\u metadata包含该目录中拼花文件的合并模式 \u元数据将仅包含该目录中最近编写的拼花地板文件的架构情况似乎并非如此。我只在层次集(其中有编码为目录名的列)中看到_common_元数据。_common_元数据包含整个表的模式,包括那些

在编写元数据文件时,ThriftParquetWriter实际上会生成两个文件:\u metadata\u common\u metadata

这两个文件有什么区别?他们有不同的文件大小,所以一定有差异


感谢您查看的源代码,在我看来:

\u common\u metadata
包含该目录中拼花文件的合并模式


\u元数据
将仅包含该目录中最近编写的拼花地板文件的架构

情况似乎并非如此。我只在层次集(其中有编码为目录名的列)中看到_common_元数据。_common_元数据包含整个表的模式,包括那些层次结构列,而_元数据包含用于零件文件的模式(省略层次结构列),还包括所有文件的每个文件列统计信息(最小值、最大值等),以及它们的完整相对路径名