Amazon s3 如何在AmazonEMR/S3中查看输出?

Amazon s3 如何在AmazonEMR/S3中查看输出?,amazon-s3,hive,amazon-emr,Amazon S3,Hive,Amazon Emr,我是Amazon服务的新手,尝试在Amazon EMR中运行该应用程序 为此,我遵循以下步骤: 1) 创建包含-->创建表的配置单元脚本,在配置单元中加载带有一些文件的数据语句,并从命令中选择* 2) 创建了S3 Bucket。我将对象作为:配置单元脚本,要加载到表中的文件加载到其中 3) 然后创建作业流(使用示例配置单元程序)。给定输入、输出和脚本路径(如s3n://bucketname/script.q、s3n://bucketname/input.txt、s3n://bucketname/

我是Amazon服务的新手,尝试在Amazon EMR中运行该应用程序

为此,我遵循以下步骤:

1) 创建包含-->创建表的配置单元脚本,在配置单元中加载带有一些文件的数据语句,并从命令中选择*

2) 创建了S3 Bucket。我将对象作为:配置单元脚本,要加载到表中的文件加载到其中

3) 然后创建作业流(使用示例配置单元程序)。给定输入、输出和脚本路径(如s3n://bucketname/script.q、s3n://bucketname/input.txt、s3n://bucketname/out/)。没有创建出目录。我认为它将自动创建

4) 然后作业流开始运行,过了一段时间,我看到了启动、引导、运行和关闭的状态

5) 在运行关机状态时,它会自动终止,显示关机的故障状态

然后在S3上,我没有看到out目录。如何查看输出?我看到了像守护进程、节点之类的目录


以及如何在Amazon EMR中查看HDFS中的数据?

您在步骤3中指定的输出路径应该包含您的结果(根据您的描述,它是s3n://bucketname/out/)

如果没有,则说明您的配置单元脚本出了问题。如果配置单元作业失败,您将在jobtracker日志中找到有关失败/异常的信息。jobtracker日志存在于
/daemons//hadoop hadoop jobtracker-.log


日志目录中只有一个文件的S3密钥采用上述格式。此文件将包含可能发生的任何异常。你可能想把注意力集中在文件的底部。

我也有同样的问题;干了一份大活儿后,感觉很痛苦。不幸的是,我让作业在完成后自动终止。您是否能够跟踪您的数据和/或其失败的原因?