Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 使用纱线束设置Apache Spark_Apache Spark_Bigdata_Yarn - Fatal编程技术网

Apache spark 使用纱线束设置Apache Spark

Apache spark 使用纱线束设置Apache Spark,apache-spark,bigdata,yarn,Apache Spark,Bigdata,Yarn,我想使用ApacheSpark集成Thread。我已经在我的电脑上安装了spark、jdk和scala。我的数据保存在Cassandra数据库中。我还为slave创建了另一台服务器 Spark版本-2.1.0 Scala版本-2.9.2 master(我的电脑)(IP:192..01) 从属服务器(IP:192..02) Spark和scala也安装在我的从属服务器上。我需要在主设备或从设备上安装更多的设备吗?如果全部安装,那么我应该如何使用spark进行集成纱线的配置 实际上,我正在使用clu

我想使用ApacheSpark集成Thread。我已经在我的电脑上安装了spark、jdk和scala。我的数据保存在Cassandra数据库中。我还为slave创建了另一台服务器

Spark版本-2.1.0 Scala版本-2.9.2 master(我的电脑)(IP:192..01) 从属服务器(IP:192..02)

Spark和scala也安装在我的从属服务器上。我需要在主设备或从设备上安装更多的设备吗?如果全部安装,那么我应该如何使用spark进行集成纱线的配置

实际上,我正在使用cluster manager(纱线)创建一个单词计数程序。我的目标是在我的申请中使用纱线。你可以给我更多的建议。请帮忙。

  • 您需要安装Hadoop 2x才能合并纱线
  • 接下来,在集群模式下启动spark with Thread
    $。/bin/spark submit--class
    path.to.your.Class--主线程--部署模式群集[选项]