Ubuntu spark和cloudera虚拟机
谁能告诉我练习Spark最好的方法是什么?我可以看到大多数人都指向安装ClouderaVM。我发现它很难工作,因为我的系统只有6GB的RAM。这个过程很慢,让我很恼火。Cloudera Manager从未发布,我相信这是因为它需要8GB的RAM。到目前为止,我已经为我的windows操作系统提供了3 GB,为我的虚拟机提供了3 GB。有没有办法加快这个过程?或者我可以在Ubuntu中安装CDH,然后使用spark吗?(我在我的机器上安装了Ubuntu,这样我就可以为linux分配完整的6GB)。或者我应该买一台有8/16GB内存的新机器吗 处理器:i5 560M 内存:6GB(5.6可用) VM:VMPlayer(VMware)Ubuntu spark和cloudera虚拟机,ubuntu,apache-spark,vmware,cloudera-quickstart-vm,Ubuntu,Apache Spark,Vmware,Cloudera Quickstart Vm,谁能告诉我练习Spark最好的方法是什么?我可以看到大多数人都指向安装ClouderaVM。我发现它很难工作,因为我的系统只有6GB的RAM。这个过程很慢,让我很恼火。Cloudera Manager从未发布,我相信这是因为它需要8GB的RAM。到目前为止,我已经为我的windows操作系统提供了3 GB,为我的虚拟机提供了3 GB。有没有办法加快这个过程?或者我可以在Ubuntu中安装CDH,然后使用spark吗?(我在我的机器上安装了Ubuntu,这样我就可以为linux分配完整的6GB)。
有人能告诉我什么是好的配置吗 在6GB计算机WINDOWS计算机主机上使用Hadoop练习Spark 以下是:
- 将Ubuntu作为来宾操作系统安装在Oracle虚拟机中,内存为4 GB(WINDOWS机器可以使用2 GB,假设您在WIN中没有运行任何CPU/内存密集型任务)
- 对于4GB虚拟机,我强烈建议不要使用Cloudera和Cloudera Manager(他们将推出很多服务)
- 手动安装hadoop valina稳定版2.4.1(以便您可以控制deamons)使用此链接执行以下步骤-
- 假定
- 来宾操作系统的保留内存-最小1 GB
- Hadoop单节点deamons的内存-2 GB
- 剩余1 GB可用于spark学习
- 然后在单机模式下使用单节点安装Spark(除了虚拟机之外,什么都没有)