Macos 在家中设置Hadoop群集(2个)
您好,我想知道是否有人有一些建议来设置我的集群。它主要是为了自己的学习目的。我正在抓取新闻文章,想试用一些机器学习聚类等方面的知识。我的数据大约为1-10GB 我有权支配Macos 在家中设置Hadoop群集(2个),macos,hadoop,amazon-ec2,Macos,Hadoop,Amazon Ec2,您好,我想知道是否有人有一些建议来设置我的集群。它主要是为了自己的学习目的。我正在抓取新闻文章,想试用一些机器学习聚类等方面的知识。我的数据大约为1-10GB 我有权支配 Macbook pro,带硬盘和SSD/8GB内存/i5(2核) Macbook pro,带硬盘和SSD/8GB内存/i5(2核) 桌面电脑,ubuntu 1.5 TB硬盘空间/8GB内存/i5(4核) 我现在的想法是使用我的macbook作为主节点,通过虚拟机在我的台式pc上设置2-4个从节点。也许我可以获得8-16 Gig
提前感谢如果您的数据小于10 GB且性能不受影响,则您的配置应足以运行Map Reduce/或许多机器学习程序。我在家里的笔记本电脑上设置了一个2节点集群,与您的配置不匹配(内存更少,内核相同),我可以以相当快的速度运行复杂的hadoop作业。不必在AmazonEC2上花些钱,你可以继续这样做