Hadoop 在EMR 3.10中添加步骤或引导操作,以将文件从本地复制到s3
我使用AmazonEMR3.10是为了我的目的,我想将一个文件从本地复制到AmazonS3…我使用的是“scriptrunner.jar”,在参数中,我在参数sudo aws s3 cp/home/hadoop/conf/hdfs-site.xml s3://testbucket/myfolder/--recursive中提到了一个命令,但该步骤失败了&引发以下异常:Hadoop 在EMR 3.10中添加步骤或引导操作,以将文件从本地复制到s3,hadoop,amazon-web-services,amazon-s3,amazon-emr,Hadoop,Amazon Web Services,Amazon S3,Amazon Emr,我使用AmazonEMR3.10是为了我的目的,我想将一个文件从本地复制到AmazonS3…我使用的是“scriptrunner.jar”,在参数中,我在参数sudo aws s3 cp/home/hadoop/conf/hdfs-site.xml s3://testbucket/myfolder/--recursive中提到了一个命令,但该步骤失败了&引发以下异常: Exception in thread "main" java.lang.RuntimeException: Local fil
Exception in thread "main" java.lang.RuntimeException: Local file does not exist.
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.fetchFile(ScriptRunner.java:30)
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.main(ScriptRunner.java:56)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
在这个步骤中,我需要做什么,以便它将文件从本地复制到AmazonS3??我还想提出几个问题???1)如果我需要使用“command runner.jar”,如何在EMR 3.10中使用command runner?? 2) 如何使用引导操作执行复制任务
谢谢程序似乎无法找到本地文件
/home/hadoop/conf/hdfs-site.xml
文件是否存在
如果要在引导操作中执行此复制,还可以尝试使用名为的好工具,请注意 hadoop用户在引导阶段完成之前不存在 这可以解释这个错误 作为一个EMR步骤执行复制操作应该可以工作,因为hadoop已经在该点安装
有关更多详细信息,请参阅EMR的生命周期:文件存在于该位置。。我想在启动EMR时复制该文件,以便通过步骤或引导操作复制该文件??我是否能够在EMR 3.10集群的步骤中使用“s3cmd put--recursive dir1 s3://s3tools demo/some/path/”命令?如果此活动发生在hadoop安装之前,conf文件将不存在,您将获得文件未找到异常。