Warning: file_get_contents(/data/phpspider/zhask/data//catemap/9/java/339.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Java 配置单元描述分区以显示分区url_Java_Sql_Hadoop_Hive - Fatal编程技术网

Java 配置单元描述分区以显示分区url

Java 配置单元描述分区以显示分区url,java,sql,hadoop,hive,Java,Sql,Hadoop,Hive,我知道有 DESCRIBE FORMATTED table_name; 这将显示表格格式。 有没有一种方法可以获得关于分区的更多信息 SHOW PARTITIONS table_name; 我看到Hive语言手册上有这个 DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name PARTITION partition_spec 我想查看hdfs或s3中存储数据的所有分区以及url analyze table TABLENAME partition

我知道有

DESCRIBE FORMATTED table_name;
这将显示表格格式。 有没有一种方法可以获得关于分区的更多信息

SHOW PARTITIONS table_name;
我看到Hive语言手册上有这个

DESCRIBE [EXTENDED|FORMATTED] [db_name.]table_name PARTITION partition_spec
我想查看hdfs或s3中存储数据的所有分区以及url

analyze table TABLENAME partition(the_partition) compute statistics nopass;
上面的代码提供了有关分区的更多信息(文件数、行数、总大小),但没有提供确切的位置

如果需要精确位置,可能需要创建一个外部表。

要显示分区:

show partitions table\u name

要显示分区的物理存储位置,请执行以下操作:

描述格式化的dbname.tablename分区(name=value)


我不知道有什么内置方法可以创建一个输出(分区、路径),但您可以使用这两个命令和一些grep/awk或其他任何东西来构建它。

有多个选项来描述分区并获取分区的URL

  • 使用描述格式

    描述格式化的zipcodes分区(state='PR')

  • 使用显示表扩展

    显示像zipcodes分区一样扩展的表(state='PR')

  • 正在运行HDFS命令。如果您知道所有分区都存储在同一位置,请使用此选项

    hdfs-ls/

  • 如果您只是想知道表上现有的分区

    显示分区

  • 有关输出的更多详细信息,请访问