Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Ubuntu spark和cloudera虚拟机_Ubuntu_Apache Spark_Vmware_Cloudera Quickstart Vm - Fatal编程技术网

Ubuntu spark和cloudera虚拟机

Ubuntu spark和cloudera虚拟机,ubuntu,apache-spark,vmware,cloudera-quickstart-vm,Ubuntu,Apache Spark,Vmware,Cloudera Quickstart Vm,谁能告诉我练习Spark最好的方法是什么?我可以看到大多数人都指向安装ClouderaVM。我发现它很难工作,因为我的系统只有6GB的RAM。这个过程很慢,让我很恼火。Cloudera Manager从未发布,我相信这是因为它需要8GB的RAM。到目前为止,我已经为我的windows操作系统提供了3 GB,为我的虚拟机提供了3 GB。有没有办法加快这个过程?或者我可以在Ubuntu中安装CDH,然后使用spark吗?(我在我的机器上安装了Ubuntu,这样我就可以为linux分配完整的6GB)。

谁能告诉我练习Spark最好的方法是什么?我可以看到大多数人都指向安装ClouderaVM。我发现它很难工作,因为我的系统只有6GB的RAM。这个过程很慢,让我很恼火。Cloudera Manager从未发布,我相信这是因为它需要8GB的RAM。到目前为止,我已经为我的windows操作系统提供了3 GB,为我的虚拟机提供了3 GB。有没有办法加快这个过程?或者我可以在Ubuntu中安装CDH,然后使用spark吗?(我在我的机器上安装了Ubuntu,这样我就可以为linux分配完整的6GB)。或者我应该买一台有8/16GB内存的新机器吗

处理器:i5 560M 内存:6GB(5.6可用) VM:VMPlayer(VMware)


有人能告诉我什么是好的配置吗

在6GB计算机WINDOWS计算机主机上使用Hadoop练习Spark

以下是:

  • 将Ubuntu作为来宾操作系统安装在Oracle虚拟机中,内存为4 GB(WINDOWS机器可以使用2 GB,假设您在WIN中没有运行任何CPU/内存密集型任务)
  • 对于4GB虚拟机,我强烈建议不要使用Cloudera和Cloudera Manager(他们将推出很多服务)
  • 手动安装hadoop valina稳定版2.4.1(以便您可以控制deamons)使用此链接执行以下步骤-
  • 假定

    • 来宾操作系统的保留内存-最小1 GB
    • Hadoop单节点deamons的内存-2 GB
    • 剩余1 GB可用于spark学习
  • 然后在单机模式下使用单节点安装Spark(除了虚拟机之外,什么都没有)

希望这些有帮助:)