Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/hadoop/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Macos 在家中设置Hadoop群集(2个)_Macos_Hadoop_Amazon Ec2 - Fatal编程技术网

Macos 在家中设置Hadoop群集(2个)

Macos 在家中设置Hadoop群集(2个),macos,hadoop,amazon-ec2,Macos,Hadoop,Amazon Ec2,您好,我想知道是否有人有一些建议来设置我的集群。它主要是为了自己的学习目的。我正在抓取新闻文章,想试用一些机器学习聚类等方面的知识。我的数据大约为1-10GB 我有权支配 Macbook pro,带硬盘和SSD/8GB内存/i5(2核) Macbook pro,带硬盘和SSD/8GB内存/i5(2核) 桌面电脑,ubuntu 1.5 TB硬盘空间/8GB内存/i5(4核) 我现在的想法是使用我的macbook作为主节点,通过虚拟机在我的台式pc上设置2-4个从节点。也许我可以获得8-16 Gig

您好,我想知道是否有人有一些建议来设置我的集群。它主要是为了自己的学习目的。我正在抓取新闻文章,想试用一些机器学习聚类等方面的知识。我的数据大约为1-10GB

我有权支配

  • Macbook pro,带硬盘和SSD/8GB内存/i5(2核) Macbook pro,带硬盘和SSD/8GB内存/i5(2核)
  • 桌面电脑,ubuntu 1.5 TB硬盘空间/8GB内存/i5(4核)
  • 我现在的想法是使用我的macbook作为主节点,通过虚拟机在我的台式pc上设置2-4个从节点。也许我可以获得8-16 Gig的额外内存

    我不太关心表现

    还是我应该放弃我的想法,走亚马逊EC2路线


    提前感谢

    如果您的数据小于10 GB且性能不受影响,则您的配置应足以运行Map Reduce/或许多机器学习程序。我在家里的笔记本电脑上设置了一个2节点集群,与您的配置不匹配(内存更少,内核相同),我可以以相当快的速度运行复杂的hadoop作业。不必在AmazonEC2上花些钱,你可以继续这样做