Hadoop MapReduce，Java实现问题
目前我正在研究ApacheHadoop（使用MapReduce作业的Java实现）。我查看了一些示例（如WordCount示例）。我成功地编写了自定义mapreduce应用程序（我使用的是Cloudera Hadoop演示VM）。我的问题是关于一些实现和运行时的问题 job类的原型如下所示：Hadoop MapReduce，Java实现问题,java,hadoop,mapreduce,Java,Hadoop,Mapreduce,目前我正在研究ApacheHadoop（使用MapReduce作业的Java实现）。我查看了一些示例（如WordCount示例）。我成功地编写了自定义mapreduce应用程序（我使用的是Cloudera Hadoop演示VM）。我的问题是关于一些实现和运行时的问题 job类的原型如下所示： public class WordCount { public static class Map extends MapReduceBase implements Mapper<LongWrit
public class WordCount {
public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// mapping
}
}
}
public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
// reducing
}
}
public static void main(String[] args) throws Exception {
JobConf conf = new JobConf(WordCount.class);
conf.setJobName("wordcount");
// setting map and reduce classes, and various configs
JobClient.runJob(conf);
}
}
公共类字数{
公共静态类映射扩展MapReduceBase实现映射器{
公共void映射（LongWritable键、文本值、OutputCollector输出、Reporter报告器）引发IOException{
//映射
}
}
}
公共静态类Reduce扩展MapReduceBase实现Reducer{
公共void reduce（文本键、迭代器值、OutputCollector输出、Reporter报告器）引发IOException{
//减少
}
}
公共静态void main（字符串[]args）引发异常{
JobConf conf=newjobconf（WordCount.class）；
conf.setJobName（“字数”）；
//设置map和reduce类以及各种配置
runJob（conf）；
}
}
- Map和Reduce类是否必须是中的静态内部类 主类，或者它们可以在任何地方（仅从主类可见？）
- 你能像在普通的JavaSE应用程序中一样使用JavaSE和可用库所提供的任何东西吗？我的意思是，像JAXB、Guava、JSON的Jackson等等
- 编写通用解决方案的最佳实践是什么？我的意思是：我们希望以不同（但稍微相似）的方式处理大量日志文件。日志文件的最后一个标记始终是带有一些条目的JSON映射。一个处理可以是：按上的日志行计数和分组（映射中的keyA、keyB），另一个处理可以是：按上的日志行计数和分组（映射中的keyX、keyY）。（我正在考虑一些基于configfile的解决方案，在那里你可以为程序提供实际需要的条目，如果你需要新的解决方案，你只需要提供配置并运行应用程序）
- 可能是相关的：在WordCount示例中，Map和Reduce类是静态的内部类，main（）对它们没有影响，只是将这些类提供给框架。您能否使这些类成为非静态类，提供一些字段和构造函数，以使用一些当前值（如我提到的配置参数）更改运行时
hadoop jar-filesorg.apache.hadoop.conf.Configurationmain（）Configuration conf=new Configuration（）；
conf.set（“config1”、“value1”）；
作业作业=新作业（配置，“整个文件输入”）；get（）main（）Map（）/reduce（）