Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在HDFS上,我想显示以ORC格式存储的配置单元表的普通文本_Hadoop_Hive_Apache Spark Sql_Hdfs_Orc - Fatal编程技术网

Hadoop 在HDFS上,我想显示以ORC格式存储的配置单元表的普通文本

Hadoop 在HDFS上,我想显示以ORC格式存储的配置单元表的普通文本,hadoop,hive,apache-spark-sql,hdfs,orc,Hadoop,Hive,Apache Spark Sql,Hdfs,Orc,我已使用orc格式将json数据帧保存在配置单元中 jsonDF.write.format("orc").saveAsTable(hiveExamples.jsonTest) 现在我需要在HDFS上将文件显示为普通文本。有什么办法可以这样做吗 我使用了hdfs dfs-text/path of table,但它以ORC格式显示数据。在linux shell命令中,有一个名为hive--orcfiledump 要在HDFS中查看ORC文件的元数据,可以调用以下命令: [@localhost~]$

我已使用orc格式将json数据帧保存在配置单元中

jsonDF.write.format("orc").saveAsTable(hiveExamples.jsonTest)
现在我需要在HDFS上将文件显示为普通文本。有什么办法可以这样做吗


我使用了
hdfs dfs-text/path of table
,但它以ORC格式显示数据。

linux shell
命令中,有一个名为
hive--orcfiledump

要在
HDFS
中查看
ORC
文件的元数据,可以调用以下命令:

[@localhost~]$hive-orcfiledump;
要以纯文本形式查看
ORC
文件的内容,可以使用
-d
选项调用命令:

[@localhost~]$hive--orcfiledump-d;
例如:

hive>描述格式化订单\u orc;
地点:hdfs://localhost:8020/user/hive/warehouse/training_retail.db/orders_orc
#存储信息
SerDe库:org.apache.hadoop.hive.ql.io.orc.OrcSerde
InputFormat:org.apache.hadoop.hive.ql.io.orc.orInputFormat
OutputFormat:org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat
蜂巢>退出;
[@localhost~]$hdfs dfs-ls/user/hive/warehouse/training\u retail.db/orders\u orc
找到1个项目
-rwxrwx 1培训蜂箱163094 2020-04-20 09:39/user/hive/warehouse/training\u retail.db/orders\u orc/000000\u 0
[@localhost~]$hdfs-dfs-tail/user/hive/warehouse/training\u retail.db/orders\u orc/000000\u 0
��+"%ў�.�B����8V$tߗ��\|�?�xM��
*�ڣ�������!�2.���_���Ͳ�v���
R�E(����~�嗯�/&��&x=-�&2.�T��o��法学博士���Q��m5��#���8Iqe����A.�^�ێ"���@�T�W�M�A.���3|�����NL�Q����P�D�#:}S-D�Wq�_"����
[@localhost~]$hive--orcfiledump/user/hive/warehouse/training\u retail.db/orders\u orc/000000\u 0;
/user/hive/warehouse/training\u retail.db/orders\u orc/000000\u 0的结构
文件版本:0.12,带配置单元8732
20/04/20 10:19:58信息orc.ReaderImpl:从/user/hive/warehouse/training_retail.db/orders_orc/000000_0读取orc行,带{include:null,offset:0,length:9223372036854775807}
行数:68883
压缩:ZLIB
压缩大小:262144
类型:struct
....
文件长度:163094字节
填充长度:0字节
填充率:0%
[@localhost~]$hive-orcfiledump-d/user/hive/warehouse/training_retail.db/orders_orc/000000_0|head-n 5
{u col0:1,“\u col1”:“2013-07-25 00:00:00.0,”\u col2:11599,“\u col3”:“关闭”}
{u col0:2,“\u col1”:“2013-07-25 00:00:00.0,”\u col2:256,“\u col3”:“待付款”}
{u col0:3,“\u col1”:“2013-07-25 00:00:00.0,”\u col2:12111,“\u col3”:“完成”}
{u col0:4,“\u col1”:“2013-07-25 00:00:00.0,”\u col2:8827,“\u col3”:“关闭”}
{u col0:5,“\u col1”:“2013-07-25 00:00:00.0,”\u col2:11318,“\u col3”:“完成”}
有关详细信息,请访问此链接:


Hi!您可以点击此链接:Hi@Chema,我已经查看了该链接,无法找到在HDFS上查看ORC文件内容的答案。谢谢@Chema。实际上,我尝试使用部分HDFS文件路径,但没有给出完整的文件名,因此被抛出“不存在文件”错误。您的示例帮助我理解了它的工作原理。