由于缺少日志目录，hadoop distcp失败

我正在尝试在EMR群集上运行distcp命令：

hadoop distcp s3a://... hdfs://host/data/...

运行此命令时，会出现以下错误：

Exit code: 1
Exception message: /bin/bash: /mnt/yarn/logs/application_1524773139099_0003/container_1524773139099_0003_02_000001/stdout: No such file or directory

Stack trace: ExitCodeException exitCode=1: /bin/bash: /mnt/yarn/logs/application_1524773139099_0003/container_1524773139099_0003_02_000001/stdout: No such file or directory

at org.apache.hadoop.util.Shell.runCommand(Shell.java:582)
at org.apache.hadoop.util.Shell.run(Shell.java:479)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:773)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:212)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:302)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:82)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)

---

我检查了集群中的所有节点，它们都有我创建的

/mnt/warn/logs

目录。这里发生了什么？

确保运行作业的用户有足够的权限在路径/mnt/warn/logs中创建临时目录，如application*********。最好是配置单元用户，也可以为应用程序_1524773139099_0003提取纱线日志，以查看可能解释实际错误的错误。

如果父目录的目录权限未设置为

rwx

，则会出现相同的错误这是控制台上引发的常见异常。您还可以通过运行“纱线日志——应用程序ID应用程序”来共享日志吗