Hadoop hbase map使用oozie减少作业以获得最佳性能

我想从oozie调度程序运行Hbase TableMapReduce作业。 我有一个驱动程序，映射器和没有减速器类。使用hadoop生态系统的最高性能从oozie运行此作业的最佳方式是什么。 目前，我正在oozie工作流中为驱动程序类使用Java操作

<action name="custom-java-action-mr">
    <java>
        <main-class>com.mr.sample.MyJobDriver</main-class>
        <capture-output/>
    </java>
    <ok to="fork1"/>
    <error to="kill"/>
</action>

目前Hbase连接不安全，但我们在生产环境中有Hbase安全连接。

---

谢谢

hbase的扫描永远不需要减速器phase@UserSx：是的，我们没有使用reducer，mapper拥有mr的完整逻辑。

Job job = Job.getInstance();

job.setJobName("My Custom Job");

job.setInputFormatClass(TextInputFormat.class);
job.setOutputFormatClass(NullOutputFormat.class);

job.setJarByClass(MyJobDriver.class);
Scan scan = new Scan();
scan.addFamily(Bytes.toBytes(Entity.FAMILY_NAME));
scan.setCaching(10000);
scan.setCacheBlocks(false);
TableMapReduceUtil.initTableMapperJob(Entity.TABLE_NAME, scan,
        MyJobMapper.class, ImmutableBytesWritable.class, Result.class, job);