Hadoop 我们可以参考s3存储桶的输入路径来运行MR作业吗?

Hadoop 我们可以参考s3存储桶的输入路径来运行MR作业吗?,hadoop,amazon-emr,Hadoop,Amazon Emr,我想让我的映射器和reducer从s3 bucket读取输入文件,并将结果存储在EMR集群中。 做这件事最好的方法是什么?你只要 你不需要做电子病历 但如果您这样做了,您可以使用Consistency View来加快S3读取速度我想到的一个简单解决方案是将S3存储桶数据复制到emr以用于临时目的,并将其传递给mapper和reducer。这可以轻松完成。但我想我们可以直接指向s3 bucket来执行输入文件的读取操作。如果是的话,什么是最好的解决方案。我很确定《电子病历入门指南》完全符合您的要求

我想让我的映射器和reducer从s3 bucket读取输入文件,并将结果存储在EMR集群中。
做这件事最好的方法是什么?

你只要

你不需要做电子病历


但如果您这样做了,您可以使用Consistency View来加快S3读取速度

我想到的一个简单解决方案是将S3存储桶数据复制到emr以用于临时目的,并将其传递给mapper和reducer。这可以轻松完成。但我想我们可以直接指向s3 bucket来执行输入文件的读取操作。如果是的话,什么是最好的解决方案。我很确定《电子病历入门指南》完全符合您的要求。。。你以前研究过这个问题吗?