Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在EMR 3.10中添加步骤或引导操作,以将文件从本地复制到s3_Hadoop_Amazon Web Services_Amazon S3_Amazon Emr - Fatal编程技术网

Hadoop 在EMR 3.10中添加步骤或引导操作,以将文件从本地复制到s3

Hadoop 在EMR 3.10中添加步骤或引导操作,以将文件从本地复制到s3,hadoop,amazon-web-services,amazon-s3,amazon-emr,Hadoop,Amazon Web Services,Amazon S3,Amazon Emr,我使用AmazonEMR3.10是为了我的目的,我想将一个文件从本地复制到AmazonS3…我使用的是“scriptrunner.jar”,在参数中,我在参数sudo aws s3 cp/home/hadoop/conf/hdfs-site.xml s3://testbucket/myfolder/--recursive中提到了一个命令,但该步骤失败了&引发以下异常: Exception in thread "main" java.lang.RuntimeException: Local fil

我使用AmazonEMR3.10是为了我的目的,我想将一个文件从本地复制到AmazonS3…我使用的是“scriptrunner.jar”,在参数中,我在参数sudo aws s3 cp/home/hadoop/conf/hdfs-site.xml s3://testbucket/myfolder/--recursive中提到了一个命令,但该步骤失败了&引发以下异常:

Exception in thread "main" java.lang.RuntimeException: Local file does not exist.
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.fetchFile(ScriptRunner.java:30)
at com.amazon.elasticmapreduce.scriptrunner.ScriptRunner.main(ScriptRunner.java:56)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.util.RunJar.main(RunJar.java:212)
在这个步骤中,我需要做什么,以便它将文件从本地复制到AmazonS3??我还想提出几个问题???
1)如果我需要使用“command runner.jar”,如何在EMR 3.10中使用command runner?? 2) 如何使用引导操作执行复制任务


谢谢

程序似乎无法找到本地文件

/home/hadoop/conf/hdfs-site.xml
文件是否存在


如果要在引导操作中执行此复制,还可以尝试使用名为

的好工具,请注意 hadoop用户在引导阶段完成之前不存在

这可以解释这个错误

作为一个EMR步骤执行复制操作应该可以工作,因为hadoop已经在该点安装


有关更多详细信息,请参阅EMR的生命周期:

文件存在于该位置。。我想在启动EMR时复制该文件,以便通过步骤或引导操作复制该文件??我是否能够在EMR 3.10集群的步骤中使用“s3cmd put--recursive dir1 s3://s3tools demo/some/path/”命令?如果此活动发生在hadoop安装之前,conf文件将不存在,您将获得文件未找到异常。