如何在java代码中使用S3DistCp

我想按语法将作业的输出从EMR集群复制到AmazonS3Pro

如何在java代码中使用

S3DistCp

。

hadoop

ToolRunner

可以运行此功能。。由于

S3DistCP扩展工具

下面是使用示例：

import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.apache.hadoop.util.ToolRunner; import com.amazon.external.elasticmapreduce.s3distcp.S3DistCp public class CustomS3DistCP{ private static final Log log = LogFactory.getLog(CustomS3DistCP.class); public static void main(String[] args) throws Exception { log.info("Running with args: " + args); System.exit(ToolRunner.run(new S3DistCp(), args)); } 导入org.apache.commons.logging.Log； 导入org.apache.commons.logging.LogFactory； 导入org.apache.hadoop.util.ToolRunner； 导入com.amazon.external.elasticmapreduce.s3distcp.s3distcp 公共类CustomS3DistCP{ 私有静态最终日志日志=LogFactory.getLog（CustomS3DistCP.class）； 公共静态void main（字符串[]args）引发异常{ log.info（“使用参数运行：“+args”）； 退出（ToolRunner.run（新的S3DistCp（），args））； } 在类路径中必须有s3distcp jar 您可以从shell脚本调用此程序

---

希望有帮助。

嗨，欢迎。我认为这个问题可能有点宽泛。考虑修改，或者张贴到一个讨论区。我知道这是一个迟了的答案！但是它是如何解决这个问题的。这就是为什么要放在这里的原因。@ USER 264210请ACK。