Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Hadoop 在Amazon Web服务上的Elastic MapReduce上定义HDFS文件_Hadoop_Amazon Web Services_Mapreduce - Fatal编程技术网

Hadoop 在Amazon Web服务上的Elastic MapReduce上定义HDFS文件

Hadoop 在Amazon Web服务上的Elastic MapReduce上定义HDFS文件,hadoop,amazon-web-services,mapreduce,Hadoop,Amazon Web Services,Mapreduce,我开始在Hadoop MapReduce框架上实现KMeans算法。在这方面,我使用的是Amazon Web服务提供的弹性MapReduce。我想创建一个HDFS文件,在上面保存初始簇坐标,并在上面存储还原器的最终结果。我完全搞糊涂了。是否有创建此文件或将其上载为HDFS格式的方法,以便所有映射者都能看到 对此有何澄清 谢谢。最后我知道怎么做了。 因此,为了将HDFS文件上传到集群中。您必须使用安全密钥通过putty连接到集群 然后编写这些命令 hadoop distcp s3://bucke_

我开始在Hadoop MapReduce框架上实现KMeans算法。在这方面,我使用的是Amazon Web服务提供的弹性MapReduce。我想创建一个HDFS文件,在上面保存初始簇坐标,并在上面存储还原器的最终结果。我完全搞糊涂了。是否有创建此文件或将其上载为HDFS格式的方法,以便所有映射者都能看到

对此有何澄清


谢谢。

最后我知道怎么做了。 因此,为了将HDFS文件上传到集群中。您必须使用安全密钥通过putty连接到集群

然后编写这些命令

hadoop distcp s3://bucke_name/data/fileNameinS3Bucket HDFSfileName

与 fileNameinS3Bucket是s3 bucket中的文件名 HDFSfileName是我上载文件时,您希望为文件命名的名称

检查文件是否已上载 hadoop fs-ls