Java Hadoop map reduce输出包含奇怪的字符
我正在运行map reduce作业。当我在单节点集群的机器上运行它时,输出如图所示Java Hadoop map reduce输出包含奇怪的字符,java,hadoop,Java,Hadoop,我正在运行map reduce作业。当我在单节点集群的机器上运行它时,输出如图所示 hduser@nikhil-VirtualBox:/usr/local/hadoop/hadoop-1.0.4$ bin/hadoop dfs -text /user/hduser/output16/part-r-00000 0 Required Genotype column (s), Must not contain NULLS for required fields, failed, 5, 1: GEN
hduser@nikhil-VirtualBox:/usr/local/hadoop/hadoop-1.0.4$ bin/hadoop dfs -text /user/hduser/output16/part-r-00000
0 Required Genotype column (s), Must not contain NULLS for required fields, failed, 5, 1: GENE_NAME; 2: GENE_NAME; 4: GENE_NAME; 5: GENE_NAME; 9: GENE_NAME
然而,当我在一个更大的数据集上在AmazonEMR上运行相同的程序时,我得到了以下所有奇怪的字符。原因可能是什么
SEQorg.apache.hadoop.io.Textorg.apache.hadoop.io.Text\00\00\00\00\00\00\968\D6\FA\E1>X(.q\8B!\ABQ\00\00-\00\00\00
1537044153\8ERequired Genotype column (s), Must not contain NULLS for required fields, failed, 1, 1: VARIANT_START_POSITION; 2: VARIANT_START_POSITION;
标题(SEQTextText)告诉您这是一个SequenceFile
,其键和值为org.apache.hadoop.io.Text
这是二进制的,不是纯文本的,你可以用
SequenceFile.Reader
来读。如果我用SequenceFile.Reader来读if,我应该看不到任何问题,对吧?正确,我相信你也可以用bin/hadoop fs-cat
()来读。非常感谢你,这真的帮助了我。