Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/ruby/23.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hive 如何在SparkSQL上获得totalNumberFiles、totalFileSize、maxFileSize等文件系统状态?_Hive_Apache Spark Sql_Bigdata_Hiveql_Hadoop2 - Fatal编程技术网

Hive 如何在SparkSQL上获得totalNumberFiles、totalFileSize、maxFileSize等文件系统状态?

Hive 如何在SparkSQL上获得totalNumberFiles、totalFileSize、maxFileSize等文件系统状态?,hive,apache-spark-sql,bigdata,hiveql,hadoop2,Hive,Apache Spark Sql,Bigdata,Hiveql,Hadoop2,在配置单元中,为了获得文件系统状态,如文件总数,我们运行查询 Show table extended like '<db>.<table>' partition(<partition>) 显示扩展为“.”分区()的表 我试着跑步 show table extended from <db> like '<table>' partition(<partition>); 显示从类似“”分区()扩展的表; 在SparkSQL

在配置单元中,为了获得文件系统状态,如文件总数,我们运行查询

Show table extended like '<db>.<table>' partition(<partition>)
显示扩展为“.”分区()的表
我试着跑步

show table extended from <db> like '<table>' partition(<partition>);
显示从类似“”分区()扩展的表;

在SparkSQL上,但此查询不提供文件总数、最大文件大小等。

spark版本?spark sql版本2+,我们使用2.0/2.1/2.2/2.3/2.4/