Hadoop 在Amazon Web服务上的Elastic MapReduce上定义HDFS文件
我开始在Hadoop MapReduce框架上实现KMeans算法。在这方面,我使用的是Amazon Web服务提供的弹性MapReduce。我想创建一个HDFS文件,在上面保存初始簇坐标,并在上面存储还原器的最终结果。我完全搞糊涂了。是否有创建此文件或将其上载为HDFS格式的方法,以便所有映射者都能看到 对此有何澄清Hadoop 在Amazon Web服务上的Elastic MapReduce上定义HDFS文件,hadoop,amazon-web-services,mapreduce,Hadoop,Amazon Web Services,Mapreduce,我开始在Hadoop MapReduce框架上实现KMeans算法。在这方面,我使用的是Amazon Web服务提供的弹性MapReduce。我想创建一个HDFS文件,在上面保存初始簇坐标,并在上面存储还原器的最终结果。我完全搞糊涂了。是否有创建此文件或将其上载为HDFS格式的方法,以便所有映射者都能看到 对此有何澄清 谢谢。最后我知道怎么做了。 因此,为了将HDFS文件上传到集群中。您必须使用安全密钥通过putty连接到集群 然后编写这些命令 hadoop distcp s3://bucke_
谢谢。最后我知道怎么做了。 因此,为了将HDFS文件上传到集群中。您必须使用安全密钥通过putty连接到集群 然后编写这些命令 hadoop distcp s3://bucke_name/data/fileNameinS3Bucket HDFSfileName 与 fileNameinS3Bucket是s3 bucket中的文件名 HDFSfileName是我上载文件时,您希望为文件命名的名称 检查文件是否已上载 hadoop fs-ls