Hadoop 如何将大小为KB的文本文件转换为序列文件
我在HDFS中存储了大量数据,但单个文件非常小(KBs)。因此,MapReduce处理需要花费大量时间 我能缩短处理时间吗?SequenceFile是一个不错的选择吗Hadoop 如何将大小为KB的文本文件转换为序列文件,hadoop,mapreduce,Hadoop,Mapreduce,我在HDFS中存储了大量数据,但单个文件非常小(KBs)。因此,MapReduce处理需要花费大量时间 我能缩短处理时间吗?SequenceFile是一个不错的选择吗 请提供一些Java或MR代码,将多个较小的文本文件转换为SequenceFile。SequenceFile在这种情况下是一个不错的选择。你可以这样做: public class TextToSequenceConverter { /** * @param args * @throws IOExcepti
请提供一些Java或MR代码,将多个较小的文本文件转换为SequenceFile。SequenceFile在这种情况下是一个不错的选择。你可以这样做:
public class TextToSequenceConverter {
/**
* @param args
* @throws IOException
* @throws IllegalAccessException
* @throws InstantiationException
*/
@SuppressWarnings("deprecation")
public static void main(String[] args) throws IOException,
InstantiationException, IllegalAccessException {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
conf.addResource(new Path("/hadoop/projects/hadoop-1.0.4/conf/core-site.xml"));
conf.addResource(new Path("/hadoop/projects/hadoop-1.0.4/conf/hdfs-site.xml"));
FileSystem fs = FileSystem.get(conf);
Path inputFile = new Path("/infile");
FSDataInputStream inputStream = fs.open(inputFile);
Path outputFile = new Path("/outfile");
IntWritable key = new IntWritable();
int count = 0;
Text value = new Text();
String str;
SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,outputFile, key.getClass(), value.getClass());
while (inputStream.available() > 0) {
key.set(count++);
str = inputStream.readLine();
value.set(str);
writer.append(key, value);
}
fs.close();
IOUtils.closeStream(writer);
System.out.println("SEQUENCE FILE CREATED SUCCESSFULLY........");
}
}
你可能还想看看HAR文件
您可能会发现这是一本很好的读物:
要将HDFS目录中的所有文件转换为单个序列文件,请执行以下操作:
package my.pack;
import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.Text;
public class BundleSeq {
/**
* @param args
* @throws IOException
* @throws IllegalAccessException
* @throws InstantiationException
*/
public static void main(String[] args) throws IOException,
InstantiationException, IllegalAccessException {
// TODO Auto-generated method stub
Configuration conf = new Configuration();
conf.addResource(new Path(
"/hadoop/projects/hadoop-1.0.4/conf/core-site.xml"));
conf.addResource(new Path(
"/hadoop/projects/hadoop-1.0.4/conf/hdfs-site.xml"));
FileSystem fs = FileSystem.get(conf);
Path inputFile = new Path("/bundleinput");
Path outputFile = new Path("/outfile");
FSDataInputStream inputStream;
Text key = new Text();
Text value = new Text();
SequenceFile.Writer writer = SequenceFile.createWriter(fs, conf,
outputFile, key.getClass(), value.getClass());
FileStatus[] fStatus = fs.listStatus(inputFile);
for (FileStatus fst : fStatus) {
String str = "";
System.out.println("Processing file : " + fst.getPath().getName() + " and the size is : " + fst.getPath().getName().length());
inputStream = fs.open(fst.getPath());
key.set(fst.getPath().getName());
while(inputStream.available()>0) {
str = str+inputStream.readLine();
}
value.set(str);
writer.append(key, value);
}
fs.close();
IOUtils.closeStream(writer);
System.out.println("SEQUENCE FILE CREATED SUCCESSFULLY........");
}
}
这里filename是键,file content是值。您可以覆盖
org.apache.hadoop.mapred.lib.CombineFileInputFormat
并创建您的CombinedInputFormat
。关于实现,请参见我的答案。通过设置参数mapred.max.split.size
,您可以控制希望将输入文件合并到的大小
更多信息请阅读。感谢您的回复。此处inputfile路径将只接受文件。但是我在一个目录中有许多文件,我想将这些文件合并到一个sequenceFile中。您没有指定需要将一个目录中的所有文件合并为一个Seq文件。请参阅上面的第二段代码。