Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/2/joomla/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark Spark需要多少Shark服务器?_Apache Spark_Shark Sql - Fatal编程技术网

Apache spark Spark需要多少Shark服务器?

Apache spark Spark需要多少Shark服务器?,apache-spark,shark-sql,Apache Spark,Shark Sql,我是Spark/Shark的新手,已经和三名Spark工人组建了一个集群。我开始在同三台服务器上安装Shark,但我得出的结论是,可能不需要这样做,只需要一台Shark服务器——我在文档中找不到任何与此相关的内容。由于Spark/Hive将承担繁重的工作,我是否只需要一台Shark服务器,还是需要将其分发到Spark所在的所有服务器?Shark是Spark应用程序。它就像一个字数或火花壳。您需要将它放在要从中发送查询的客户机上 如果工作机器上不存在Shark Jar,则必须将其连接到Spark上

我是Spark/Shark的新手,已经和三名Spark工人组建了一个集群。我开始在同三台服务器上安装Shark,但我得出的结论是,可能不需要这样做,只需要一台Shark服务器——我在文档中找不到任何与此相关的内容。由于Spark/Hive将承担繁重的工作,我是否只需要一台Shark服务器,还是需要将其分发到Spark所在的所有服务器?

Shark是Spark应用程序。它就像一个字数或火花壳。您需要将它放在要从中发送查询的客户机上

如果工作机器上不存在Shark Jar,则必须将其连接到Spark上下文


Shark服务器的工作原理有点像unix系统中的“屏幕”。在本例中,Shark服务器是Spark中的一个应用程序。您使用Shark控制台连接到Shark服务器,发送查询,然后Shark服务器代表您执行查询

假设Shark是指ThriftServer,那么每个(Spark)集群只需要一个Shark


这甚至延续到Spark 1.0.1,Shark在Spark 1.0.1中退役,因为ThriftServer已被引入Spark核心

你的问题不是很清楚,你到底想对鲨鱼做什么?如果只将其安装在一台服务器上而不是三台服务器上,则意味着它将拥有大约1/3的计算能力。