使用修改后的hadoop配置文件运行oozie作业以支持S3到HDFS

您好，我正在尝试使用cp命令将S3存储桶中的文件复制到HDFS中。 我做一些类似的事情 Hadoop--config-fs-cp s3a://路径hadooppath 当我的配置在本地文件中时，这很有效。 然而，现在我正试图将其设置为一个oozie工作。因此，当我现在无法传递本地系统中config目录中的配置文件时。即使是在HDFS中，它似乎仍然不起作用。有什么建议吗

---

我在Hadoop中尝试了-D命令并传递了名称和值对，但它仍然会抛出一些错误。它只能从我的本地系统工作

你有没有在oozie中尝试DISTCP？Hadoop 2.7.2将支持S3数据源。您可以按协调员安排时间。只需将凭据解析到RESTAPI或属性文件中。它是一种周期性地（按计划的方式）复制数据的简单方法

${HADOOP_HOME}/bin/HADOOP distcp s3:///hdfs:///

欢迎使用堆栈溢出！欢迎来到Stackoverflow！你能详细说明你的问题吗？用你的努力，比如代码或者其他什么，这样人们就能尽早发现你的问题并帮助你？谢谢

${HADOOP_HOME}/bin/hadoop distcp s3://<source>/ hdfs://<destination>/