Fatal编程技术网

Hadoop MapReduce集群模拟器

mapreduce virtual-machine cluster-computing

Hadoop MapReduce集群模拟器,mapreduce,bigdata,virtual-machine,cluster-computing,simulator,Mapreduce,Bigdata,Virtual Machine,Cluster Computing,Simulator,我正在寻找一个集群模拟器来测试我的Hadoop MapReduce Java应用程序（驱动程序、映射程序、还原程序等等） 有什么东西可以模拟HDFS，每个虚拟节点任务的执行 我显然对性能不感兴趣，我有一个Intel Core i7和16GB RAM，这可能足以模拟一个小型集群 有多种方法可以模拟集群 Hortonworks或cloudera docker映像，您可以在代码中生成并连接到它 通过设置 conf.set（“fs.default.name”，“file://”）； conf.set（“

我正在寻找一个集群模拟器来测试我的Hadoop MapReduce Java应用程序（驱动程序、映射程序、还原程序等等）

有什么东西可以模拟HDFS，每个虚拟节点任务的执行

我显然对性能不感兴趣，我有一个Intel Core i7和16GB RAM，这可能足以模拟一个小型集群

有多种方法可以模拟集群

  • Hortonworks或cloudera docker映像，您可以在代码中生成并连接到它

  • 通过设置 conf.set（“fs.default.name”，“file://”）； conf.set（“mapred.job.tracker”、“local”）

    请参阅中的集成测试：

  • 使用hbase testing util生成HDFS服务，hbase作为线程，cab可以循环运行

    • 我不知道霍顿，这就足够了，但我也会试试其他的。谢谢