Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/6.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon ec2 AWS EC2中的火花束发射错误_Amazon Ec2_Apache Spark_Aws Cli - Fatal编程技术网

Amazon ec2 AWS EC2中的火花束发射错误

Amazon ec2 AWS EC2中的火花束发射错误,amazon-ec2,apache-spark,aws-cli,Amazon Ec2,Apache Spark,Aws Cli,我正在尝试在我在AWS开发实例中创建的EC2上启动Spark群集。我能够使用AWSCLI作为EC2用户成功地连接到EC2实例。我使用现有的VPC和AMI创建了这个EC2。解压缩EC2上的Spark文件,并使用私钥尝试使用以下命令启动群集: 导出AWS\u密码\u访问\u密钥=xxx 导出AWS\u访问\u密钥\u ID=xxx /home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem启动测试spar

我正在尝试在我在AWS开发实例中创建的EC2上启动Spark群集。我能够使用AWSCLI作为EC2用户成功地连接到EC2实例。我使用现有的VPC和AMI创建了这个EC2。解压缩EC2上的Spark文件,并使用私钥尝试使用以下命令启动群集:

导出AWS\u密码\u访问\u密钥=xxx

导出AWS\u访问\u密钥\u ID=xxx

/home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem启动测试spark集群

获取错误信息: boto.exception.EC2ResponseError:EC2ResponseError:400错误请求 无效密钥对。未找到密钥对“测试”不存在XXX

我想,这可能是由于区域问题,所以我在启动spark时使用了区域和区域参数

/home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem-r us-west-2-z us-west-2a发射测试火花簇

但是,当我运行此命令时,我遇到了一个不同的错误:

boto.exception.EC2ResponseError:EC2ResponseError:400错误请求 VPCIdNotSpecified此用户没有默认VPC XXX


如何解决此问题?

我不是这方面的专家,但我建议在脚本调用中设置更多参数,例如:

./spark-ec2 -k test 
            -i /home/ec2-user/identity_files/test.pem 
            -s 5 
            --instance-type=m3.medium 
            --region=eu-west-1 
            --spark-version=1.2.0 
            launch myCluster
-s
表示要创建的瞬时量。此外,您可能需要检查以下各项,特别注意最后一项:

  • 您的帐户上存在密钥对
    test
  • EC2控制台上有钥匙对
    test.pem
  • 密钥对和实例的区域相同
在网上搜索时,我发现大多数与找不到密钥对有关的错误都是由区域不匹配引起的