Warning: file_get_contents(/data/phpspider/zhask/data//catemap/8/svg/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark ApacheSpark EC2脚本启动从属服务器但不启动主服务器_Apache Spark_Spark Ec2 - Fatal编程技术网

Apache spark ApacheSpark EC2脚本启动从属服务器但不启动主服务器

Apache spark ApacheSpark EC2脚本启动从属服务器但不启动主服务器,apache-spark,spark-ec2,Apache Spark,Spark Ec2,当使用apachesparkec2脚本启动集群时,我发现了一个bug,这个bug开始攻击我的口袋。指定从属数量时:如果您输入的数量大于或等于您的限制,则集群将以最大从属数量启动,但不会启动主集群!这使您无法控制从机,因此无法控制集群 我还没有找到一种方法来使用ApacheSparkEC2脚本启动一个主程序。我已经手动关闭了1个奴隶,为主人腾出空间;但是,当尝试重新启动脚本时,它只会说: Searching for existing cluster my_cluster... Found 0 ma

当使用apachesparkec2脚本启动集群时,我发现了一个bug,这个bug开始攻击我的口袋。指定从属数量时:如果您输入的数量大于或等于您的限制,则集群将以最大从属数量启动,但不会启动主集群!这使您无法控制从机,因此无法控制集群

我还没有找到一种方法来使用ApacheSparkEC2脚本启动一个主程序。我已经手动关闭了1个奴隶,为主人腾出空间;但是,当尝试重新启动脚本时,它只会说:

Searching for existing cluster my_cluster...
Found 0 master(s), 4 slaves
ERROR: There are already instances running in group my_cluster-master
or my_cluster-slaves
为了克服这个问题,我必须登录AWS控制台,终止所有集群,然后重新启动。由于亚马逊每小时收费,我的最大集群数量的整整一个小时都要收费——一切都是免费的


当从属设备已经存在时,是否有方法启动主设备?

这是因为spark-ec2向ec2发出两个单独的请求来分配实例,一个用于主设备,另一个用于从属设备

正如你可能猜到的,这是你所看到的问题的根源

当奴隶已经存在时,没有办法启动一个主设备。只支持相反的操作——在主设备已经存在时启动从属设备

这种在从机之后启动主机的行为听起来像个bug


如果您想报告它以便修复,我建议在EC2组件下的for Spark上创建一个问题。我来看看。

谢谢。我肯定会与他们产生问题!