Apache spark 尝试通过ssh连接到Amazon EMR Spark群集时出现“操作超时”错误
我正在尝试ssh到amazonemrspark集群。以下是我所做的: 获取群集主机的IP:Apache spark 尝试通过ssh连接到Amazon EMR Spark群集时出现“操作超时”错误,apache-spark,ssh,amazon-emr,Apache Spark,Ssh,Amazon Emr,我正在尝试ssh到amazonemrspark集群。以下是我所做的: 获取群集主机的IP: aws emr describe-cluster --cluster-id <cluster_id> | grep MasterPublicDnsName 我被困在这里了,因为运行2会出现以下错误: ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation t
aws emr describe-cluster --cluster-id <cluster_id> | grep MasterPublicDnsName
我被困在这里了,因为运行2会出现以下错误:
ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation timed out
有没有办法解决这个问题?操作超时通常是由于以下两个原因之一: EMR群集的安全组不允许从中进行ssh的IP。通过转到集群的控制台/仪表板并找到安全组,单击它,然后编辑入站规则并为SSH添加一行,然后在IP字段中,下拉并选择您的IP来检查这一点 或者,如果您已经在自定义VPC中创建了EMR集群,并且集群本身被启动到一个私有子网中,那么您将无法直接SSH到它,而不首先SSH到同一VPC中的公共子网中的实例中,然后从那里SSH到集群的驱动程序节点。如果您的AWS帐户上没有自定义VPC,则不太可能出现此问题
添加更新ssh规则的步骤。安全组位于EC2仪表板中 1导航到EC2仪表板->安全组 2查找组ElasticMapReduce主控->入站->编辑->添加规则 3添加ssh,对于源选择我的IP
现在,您应该能够通过ssh连接到主节点。您是否一直在尝试通过ssh连接到节点?如果是这样的话,您的问题似乎根本就不是在问关于Anaconda的问题。是的,在尝试ssh连接到节点时遇到了麻烦。有什么线索吗?编辑了这个问题不完全确定,但我建议联系Amazon支持,因为这似乎是节点的shell登录脚本的问题,没有SSH,您无法访问。如果你有多个实例,你能进入其中任何一个吗?我只有一个集群实例在运行。在EMR控制台中添加SSH规则对我来说是个好办法。谢谢
ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation timed out