Amazon ec2 AWS EC2 Spark Cluster:RSYNC错误

Amazon ec2 AWS EC2 Spark Cluster:RSYNC错误,amazon-ec2,apache-spark,rsync,Amazon Ec2,Apache Spark,Rsync,尽管EC2管理控制台显示一个正在运行的集群(1个主集群,2个从集群),但我无法访问端口8080上的Spark用户界面(UI)。在create&launch命令运行期间,我遇到了与下面集群启动命令相同的RSYNC错误 有人能至少解释一下RSYNC在做什么吗?。我读过一些相关的帖子,但人们似乎对RSYNC非常了解,对于像我这样的无知者来说,解释一点也不明显:-) ubuntu@eu-west:~/spark-1.5.2/ec2$。/spark-ec2--key-pair=westkey--ident

尽管EC2管理控制台显示一个正在运行的集群(1个主集群,2个从集群),但我无法访问端口8080上的Spark用户界面(UI)。在create&launch命令运行期间,我遇到了与下面集群启动命令相同的RSYNC错误

有人能至少解释一下RSYNC在做什么吗?。我读过一些相关的帖子,但人们似乎对RSYNC非常了解,对于像我这样的无知者来说,解释一点也不明显:-)

ubuntu@eu-west:~/spark-1.5.2/ec2$。/spark-ec2--key-pair=westkey--identity file=/home/ubuntu/westkey.pem--region=eu-west-1启动我的spark集群
正在搜索eu-west-1区域的现有群集my spark群集。。。
找到1个主人,2个奴隶。
开始做奴隶。。。
起跑大师。。。
正在等待群集进入“ssh就绪”状态。。。。。。。。。。
群集现在处于“ssh就绪”状态。等了259秒。
从中克隆spark-ec2脚本https://github.com/amplab/spark-ec2/tree/branch-1.5 关于主人。。。
警告:将“ec2-54-171-121-28.eu-west-1.compute.amazonaws.com,172.31.16.35”(ECDSA)永久添加到已知主机列表中。
请以用户“ubuntu”而不是用户“root”登录。
与ec2-54-171-121-28.eu-west-1.compute.amazonaws.com的连接已关闭。
正在将文件部署到主机。。。
警告:将“ec2-54-171-121-28.eu-west-1.compute.amazonaws.com,172.31.16.35”(ECDSA)永久添加到已知主机列表中。
协议版本不匹配--您的shell是否干净?
(有关说明,请参阅rsync手册页)
rsync错误:compat.c(174)处的协议不兼容(代码2)[发送方=3.1.0]
回溯(最近一次呼叫最后一次):
文件“/spark_ec2.py”,第1517行,在
main()
文件“/spark_ec2.py”,第1509行,主目录
real_main()
文件“/spark_ec2.py”,第1500行,在real_main中
设置群集(连接、主节点、从节点、选项、错误)
文件“/spark_ec2.py”,第836行,在setup_集群中
模块=模块
文件“/spark_ec2.py”,第1111行,在部署_文件中
子进程检查调用(命令)
文件“/usr/lib/python2.7/subprocess.py”,第540行,在check_调用中
引发被调用的进程错误(retcode,cmd)
subprocess.CalledProcessError:Command'['rsync','-rv','-e',ssh-o StrictHostKeyChecking=no-o UserKnownHostsFile=/dev/null-i/home/ubuntu/westkey.pem','/tmp/tmpJduy3a/',u'root@ec2-54-171-121-28.eu-west-1.compute.amazonaws.com://']'返回非零退出状态2

它正在尝试执行命令

rsync -rv -e "ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -i /home/ubuntu/westkey.pem" /tmp/tmpJduy3a/ root@ec2-54-171-121-28.eu-west-1.compute.amazonaws.com:/
这意味着它试图将目录树从“源”计算机的
/tmp/tmpJduy3a/
位置复制到目标(ec2-54-171-121-28)计算机的根文件系统。
-rv
选项意味着rsync递归复制目录并输出有关结果的详细信息

据我所知,EC2实例不允许根用户访问ssh,因此当我需要将某些需要根用户访问权限的内容rsync到EC2时,我必须添加
--rsync path=“sudo rsync”
作为rsync命令的参数

PS:我现在无法对原始问题发表评论,但只要您询问rsync试图做什么,我相信这是一个合格的答案

得到了答案:“spark-ec2不支持启动运行Ubuntu的集群。它是为与定制的Amazon Linux AMI协同工作而构建的,这些AMI希望您以root用户身份登录,并且具有其他发行版上可能不存在的特定版本的Unix实用程序。”

rsync -rv -e "ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -i /home/ubuntu/westkey.pem" /tmp/tmpJduy3a/ root@ec2-54-171-121-28.eu-west-1.compute.amazonaws.com:/