Amazon ec2 AWS EC2中的火花束发射错误
我正在尝试在我在AWS开发实例中创建的EC2上启动Spark群集。我能够使用AWSCLI作为EC2用户成功地连接到EC2实例。我使用现有的VPC和AMI创建了这个EC2。解压缩EC2上的Spark文件,并使用私钥尝试使用以下命令启动群集: 导出AWS\u密码\u访问\u密钥=xxx 导出AWS\u访问\u密钥\u ID=xxx /home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem启动测试spark集群 获取错误信息: boto.exception.EC2ResponseError:EC2ResponseError:400错误请求Amazon ec2 AWS EC2中的火花束发射错误,amazon-ec2,apache-spark,aws-cli,Amazon Ec2,Apache Spark,Aws Cli,我正在尝试在我在AWS开发实例中创建的EC2上启动Spark群集。我能够使用AWSCLI作为EC2用户成功地连接到EC2实例。我使用现有的VPC和AMI创建了这个EC2。解压缩EC2上的Spark文件,并使用私钥尝试使用以下命令启动群集: 导出AWS\u密码\u访问\u密钥=xxx 导出AWS\u访问\u密钥\u ID=xxx /home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem启动测试spar
无效密钥对。未找到
密钥对“测试”不存在XXX
我想,这可能是由于区域问题,所以我在启动spark时使用了区域和区域参数
/home/ec2用户/spark-1.2.0/ec2$./spark-ec2-k测试-i/home/ec2用户/identity_文件/test.pem-r us-west-2-z us-west-2a发射测试火花簇
但是,当我运行此命令时,我遇到了一个不同的错误:
boto.exception.EC2ResponseError:EC2ResponseError:400错误请求
VPCIdNotSpecified
此用户没有默认VPC XXX
如何解决此问题?我不是这方面的专家,但我建议在脚本调用中设置更多参数,例如:
./spark-ec2 -k test
-i /home/ec2-user/identity_files/test.pem
-s 5
--instance-type=m3.medium
--region=eu-west-1
--spark-version=1.2.0
launch myCluster
-s
表示要创建的瞬时量。此外,您可能需要检查以下各项,特别注意最后一项:
- 您的帐户上存在密钥对
test
- EC2控制台上有钥匙对
test.pem
- 密钥对和实例的区域相同