Java 配置单元描述分区以显示分区url
我知道有Java 配置单元描述分区以显示分区url,java,sql,hadoop,hive,Java,Sql,Hadoop,Hive,我知道有 DESCRIBE FORMATTED table_name; 这将显示表格格式。 有没有一种方法可以获得关于分区的更多信息 SHOW PARTITIONS table_name; 我看到Hive语言手册上有这个 DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name PARTITION partition_spec 我想查看hdfs或s3中存储数据的所有分区以及url analyze table TABLENAME partition
DESCRIBE FORMATTED table_name;
这将显示表格格式。
有没有一种方法可以获得关于分区的更多信息
SHOW PARTITIONS table_name;
我看到Hive语言手册上有这个
DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name PARTITION partition_spec
我想查看hdfs或s3中存储数据的所有分区以及url
analyze table TABLENAME partition(the_partition) compute statistics nopass;
上面的代码提供了有关分区的更多信息(文件数、行数、总大小),但没有提供确切的位置
如果需要精确位置,可能需要创建一个外部表。要显示分区:
show partitions table\u name
要显示分区的物理存储位置,请执行以下操作:
描述格式化的dbname.tablename分区(name=value)
我不知道有什么内置方法可以创建一个输出(分区、路径),但您可以使用这两个命令和一些grep/awk或其他任何东西来构建它。有多个选项来描述分区并获取分区的URL