Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 亚马逊电子病历:“亚马逊电子病历”;“无输出”;在S3中发现_Hadoop_Amazon Web Services_Amazon S3_Mapreduce_Elastic Map Reduce - Fatal编程技术网

Hadoop 亚马逊电子病历:“亚马逊电子病历”;“无输出”;在S3中发现

Hadoop 亚马逊电子病历:“亚马逊电子病历”;“无输出”;在S3中发现,hadoop,amazon-web-services,amazon-s3,mapreduce,elastic-map-reduce,Hadoop,Amazon Web Services,Amazon S3,Mapreduce,Elastic Map Reduce,当我在AmazonEMR中运行作业时,我在S3中没有得到任何输出 我指定了参数: -inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/output 当我检查作业日志时,我看到作业已成功完成。但是我的bucket exdsyslab的输出文件夹中没有输出 我还试了一件事 创建作业流时,我链接了两个作业:指定的参数: -inputfile s3n://exdsyslab/data/file.txt -outputd

当我在AmazonEMR中运行作业时,我在S3中没有得到任何输出

我指定了参数:

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/output
当我检查作业日志时,我看到作业已成功完成。但是我的bucket exdsyslab的输出文件夹中没有输出

我还试了一件事

创建作业流时,我链接了两个作业:指定的参数:

-inputfile s3n://exdsyslab/data/file.txt -outputdir s3n://exdsyslab/result -outputdir1 s3n://exdsyslab/result1
第二个作业的输入是第一个作业的输出

在程序运行时,我遇到了第二个作业的以下异常:

The output folder, "result", already exists.
这是因为目录是由链中的第一个作业创建的。如何为mapreduce链中的第二个作业指定输入和输出


为什么参数中指定的s3存储桶中有输出?

要获得正确的输出,请使用以下命令:

-inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/output
请注意,输出目录由“-output”指定

对于链接作业:不能按指定的方式执行,必须为现有作业创建多个步骤才能执行。另一个答案可能会帮助您:

对于您的特定情况,输入/输出目录必须如下所示:

步骤1:

 -inputfile s3n://exdsyslab/data/file.txt -output s3n://exdsyslab/result 
步骤2:

 -input s3n://exdsyslab/result -output s3n://exdsyslab/result1

谢谢你的回答!