有没有经过测试的类似于ApacheHadoop的框架/解决方案?

有没有经过测试的类似于ApacheHadoop的框架/解决方案?,hadoop,Hadoop,我对ApacheHadoop项目感兴趣,但我想知道是否还有其他经过测试(请注意“测试”)的项目/框架 感谢使用过ApacheHadoop项目的人提供的与ApacheHadoop类似的项目的任何信息/链接以及对ApacheHadoop项目的任何评论 关于此问题的回答中提到的: 也许你可以看看。它是一个可伸缩的数据库,允许对其运行MapReduce算法 也许吧。但是,他们中没有一个能像hadoop那样拥有接近真实世界的测试体验。facebook和yahoo等公司都在花钱扩展hadoop,据我所知,

我对ApacheHadoop项目感兴趣,但我想知道是否还有其他经过测试(请注意“测试”)的项目/框架

感谢使用过ApacheHadoop项目的人提供的与ApacheHadoop类似的项目的任何信息/链接以及对ApacheHadoop项目的任何评论


关于此问题的回答中提到的


也许你可以看看。它是一个可伸缩的数据库,允许对其运行MapReduce算法

也许吧。但是,他们中没有一个能像hadoop那样拥有接近真实世界的测试体验。facebook和yahoo等公司都在花钱扩展hadoop,据我所知,没有真正值得一看的类似开源项目。

一种可能的方法是使用org.apache.hadoop.hbase.MiniDFSCluster和org.apache.hadoop.mapred.minimercluster来测试hadoop本身

他们所做的是在本地启动一个小型集群。要测试您的程序,请将hdfs-site.xml stuff指向本地集群,并将它们添加到类路径中。这个本地集群和另一个集群一样,但是更小。您可以引用hadoop/src/test/*-site.xml作为模板


例如,看看hadoop/src/test/

确实有开源项目在利用hadoop并为其提供资金。 有关数据挖掘,请参见Apache Mahout:

您是否知道其他可用的MR实现?

有一个类似于Hadoop的框架,它构建在Hadoop之上,强调迭代算法的优先执行

它经过测试。我已经在上面运行了WordCount示例。它与Hadoop非常相似(尤其是安装)

你可以在这里找到报纸:

这里的代码是什么

希望这有帮助


A

现在有一些很棒的框架类似于Hadoop,