Warning: file_get_contents(/data/phpspider/zhask/data//catemap/3/apache-spark/5.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 将jar文件传输到远程EC2服务器_Amazon Web Services_Apache Spark_Amazon Ec2_Jar - Fatal编程技术网

Amazon web services 将jar文件传输到远程EC2服务器

Amazon web services 将jar文件传输到远程EC2服务器,amazon-web-services,apache-spark,amazon-ec2,jar,Amazon Web Services,Apache Spark,Amazon Ec2,Jar,我在AWSEC2服务器中使用ApacheSpark。当我向Spark提交作业时,我将代码作为jar文件 因为我的代码很少被修改,所以在创建EC2服务器时,我会从Github“git克隆”我的代码并创建jar文件 然而,我听说直接在服务器上克隆代码是不好的,我在谷歌上找不到“为什么”。所以我的问题是,当将jar文件传输到远程EC2服务器时,下面哪一个是最好的 就像我现在做的那样 在本地开发服务器上创建一个jar文件,将其上传到AWSS3,然后使用它(我在谷歌上搜索时经常看到这种情况) 在本地创建j

我在AWSEC2服务器中使用ApacheSpark。当我向Spark提交作业时,我将代码作为jar文件

因为我的代码很少被修改,所以在创建EC2服务器时,我会从Github“git克隆”我的代码并创建jar文件

然而,我听说直接在服务器上克隆代码是不好的,我在谷歌上找不到“为什么”。所以我的问题是,当将jar文件传输到远程EC2服务器时,下面哪一个是最好的

  • 就像我现在做的那样
  • 在本地开发服务器上创建一个jar文件,将其上传到AWSS3,然后使用它(我在谷歌上搜索时经常看到这种情况)
  • 在本地创建jar文件并直接将其传输到远程服务器

  • 对我来说,第二种选择是三种选择中最好的。只是稍微修改一下。您可以将jar从构建管道推送到s3,而不是从本地上传jar。这样,您也可以控制jar上传。您可以为此使用IAM角色。此外,您还可以使用IAM角色从S3中提取jar

    在第一个选项中,您需要将GitHub用户名和密码存储在EC2实例中,还需要打开相同的端口。这是不推荐的


    在第三个选项中,您需要在Ec2实例中保持端口打开,这也是不推荐的。对于scp,您还需要共享群集用户名和密码。

    谢谢您的回答!顺便问一下,你能解释一下为什么第二种选择是最好的吗@达斯迈斯,我查过了。谢谢