Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Apache spark 尝试通过ssh连接到Amazon EMR Spark群集时出现“操作超时”错误_Apache Spark_Ssh_Amazon Emr - Fatal编程技术网

Apache spark 尝试通过ssh连接到Amazon EMR Spark群集时出现“操作超时”错误

Apache spark 尝试通过ssh连接到Amazon EMR Spark群集时出现“操作超时”错误,apache-spark,ssh,amazon-emr,Apache Spark,Ssh,Amazon Emr,我正在尝试ssh到amazonemrspark集群。以下是我所做的: 获取群集主机的IP: aws emr describe-cluster --cluster-id <cluster_id> | grep MasterPublicDnsName 我被困在这里了,因为运行2会出现以下错误: ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation t

我正在尝试ssh到amazonemrspark集群。以下是我所做的:

获取群集主机的IP:

aws emr describe-cluster --cluster-id <cluster_id> | grep MasterPublicDnsName
我被困在这里了,因为运行2会出现以下错误:

ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation timed out

有没有办法解决这个问题?

操作超时通常是由于以下两个原因之一:

EMR群集的安全组不允许从中进行ssh的IP。通过转到集群的控制台/仪表板并找到安全组,单击它,然后编辑入站规则并为SSH添加一行,然后在IP字段中,下拉并选择您的IP来检查这一点

或者,如果您已经在自定义VPC中创建了EMR集群,并且集群本身被启动到一个私有子网中,那么您将无法直接SSH到它,而不首先SSH到同一VPC中的公共子网中的实例中,然后从那里SSH到集群的驱动程序节点。如果您的AWS帐户上没有自定义VPC,则不太可能出现此问题


添加更新ssh规则的步骤。安全组位于EC2仪表板中

1导航到EC2仪表板->安全组

2查找组ElasticMapReduce主控->入站->编辑->添加规则

3添加ssh,对于源选择我的IP


现在,您应该能够通过ssh连接到主节点。

您是否一直在尝试通过ssh连接到节点?如果是这样的话,您的问题似乎根本就不是在问关于Anaconda的问题。是的,在尝试ssh连接到节点时遇到了麻烦。有什么线索吗?编辑了这个问题不完全确定,但我建议联系Amazon支持,因为这似乎是节点的shell登录脚本的问题,没有SSH,您无法访问。如果你有多个实例,你能进入其中任何一个吗?我只有一个集群实例在运行。在EMR控制台中添加SSH规则对我来说是个好办法。谢谢
ssh: connect to host ec2-xx-xxx-xxx-xxx.ap-southeast-1.compute.amazonaws.com port 22: Operation timed out