Amazon web services EMR5上的S3区Cp失败

我在emr-5.0.0版本中遇到了s3 dist cp命令的问题。在我的应用程序中，我需要将一些文件从hdfs推送到S3。我使用s3distcp命令来实现这一点。它在emr-4.2.0中运行良好。但它在emr-5.0.0中不起作用。如果我手动运行该命令，它可以正常工作。但在我的申请中失败了。我没有在我的应用程序中做任何更改以在emr-5上运行它

如果我需要使用emr-5，是否需要进行任何更改？我们在emr-5中使用s3 dist cp命令的方式有什么变化吗

我正在使用以下命令：

s3-dist-cp --src /user/hive/warehouse/abc.text --dest s3n://bucket/abc.text

---

用于s3 dist cp的语法不正确。请使用下面的命令重试

s3-dist-cp --src hdfs:///user/hive/warehouse/abc.text --dest s3n://bucket/abc.text

---

让我知道这是否解决了您的问题。

首先，

s3n://

现在已被弃用，请开始对s3路径使用

s3://

其次，如果您只是将一个文件从集群上的本地文件复制到S3中，则可以使用

aws S3 cp

：

aws s3 cp /user/hive/warehouse/abc.text s3://bucket/abc.text

---

s3 dist cp仅在主节点（s3-dist-cp.jar）上可用。

以下是应用程序的位置

/usr/share/aws/emr/s3-dist-cp/

s3-dist-cp.jar在从属节点中不可用
您可以登录到从机并进行验证

因此，应用程序失败的原因可能是，在新的emr中，您可能正在使用一些工作流管理工具，将应用程序部署在从属服务器上，然后从从属服务器开始。由于s3区cp不可用，因此失败

解决问题 第一选项

捆绑jar并使用以下命令

hadoop jar s3-dist-cp.jar --src location --dest location 

秒

引导群集上的s3-dist-cp.jar

---

您甚至可以将其作为java程序运行

在问题中包含错误肯定会有帮助…；-）另外，AFAIK

s3n

已被弃用，从现在开始使用

s3://

。如果您认为AWS的环境或更改存在特定的问题，您也可以随时向AWS创建支持通知单，前提是您有一个支持计划（在我看来，这是完全值得的，因为他们的支持非常出色）。