Warning: file_get_contents(/data/phpspider/zhask/data//catemap/1/amazon-web-services/14.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 使用FPT/SCP将文件拉入S3的最佳方式是什么?_Amazon Web Services_Amazon S3 - Fatal编程技术网

Amazon web services 使用FPT/SCP将文件拉入S3的最佳方式是什么?

Amazon web services 使用FPT/SCP将文件拉入S3的最佳方式是什么?,amazon-web-services,amazon-s3,Amazon Web Services,Amazon S3,每几分钟将FPT/SCP文件发送到S3的最佳、轻量级方法是什么?所以wget/curl可以工作。另外,一个定制的解决方案也可以工作,可能是Java和DB来维护状态。任何想法都会有帮助。只需使用或或。。。好。。。还有很多其他选择 基本上,您只是发布到S3API。使用AWS的无数SDK,您几乎可以用任何语言完成这项工作s3cmd是一个很好的、轻量级的小型CLI工具,它可能超出了您的需要 你的评论表明你在寻找稍微不同的东西。以下是基于文件源和目标的一些建议: 如果要将文件从EC2或本地主机移动到S3

每几分钟将FPT/SCP文件发送到S3的最佳、轻量级方法是什么?所以wget/curl可以工作。另外,一个定制的解决方案也可以工作,可能是Java和DB来维护状态。任何想法都会有帮助。

只需使用或或。。。好。。。还有很多其他选择

基本上,您只是发布到S3API。使用AWS的无数SDK,您几乎可以用任何语言完成这项工作<然而,code>s3cmd是一个很好的、轻量级的小型CLI工具,它可能超出了您的需要

你的评论表明你在寻找稍微不同的东西。以下是基于文件源和目标的一些建议:

  • 如果要将文件从EC2或本地主机移动到S3,请使用。如果您需要定期运行,请考虑A。以下内容将每五分钟运行一次

    */5 * * * * s3cmd sync --delete-removed my_local_directory/ s3://my-bucket/path/
    
  • 如果要将文件从S3移动到EC2或本地主机,请使用以下语法:

    */5 * * * * s3cmd sync s3://my-bucket/path/ my_local_directory/
    
  • > p>如果将文件<强>从本地主机移动到EC2<强>,考虑或.< /p>
您可以将S3存储桶装载为本地分区,并处理位于服务器文件系统上的S3文件。有很多开源工具可用

但从我的角度来看,我建议您看看我的项目:,一个安装AmazonS3存储桶的用户空间文件系统。与其他类似工具相比,该项目的目标和主要优势是:简单性、操作速度和无bug代码

目前,该项目处于“beta”状态,但它已经在几个高负载文件服务器上运行了相当长的一段时间(提供了对ftp/sftp服务器上S3位置文件的访问)

我们正在围绕我们的项目建立一个社区,并寻求更多的人加入我们的项目,以讨论未来的计划并帮助测试。从我们这方面来说,我们提供了一个快速修复bug的方法,并将听取您添加新功能的请求

快速操作指南:

您可以使用以下命令装载bucket(假设您已安装RioFS并已导出AWSACCESSKEYID和AWSSecretacessKey环境变量):


里奥斯http://s3.amazonaws.com 您的\u bucket\u名称/path/to/localfolder

(请参阅项目说明并运行
riofs--help
以获取有关命令行参数的帮助)

请注意,该项目仍在开发中,可能还存在一些bug。 如果您发现某些东西没有按预期工作:请在项目的GitHub页面上填写问题报告


希望它能帮助我们,我们期待着看到你加入我们的社区

也许我应该澄清这个问题,但是当您已经将文件传输到EC2实例时,您可以使用这些工具。我的问题更多的是,将文件放入EC2 instance.Ah的最佳方式是什么。它们应该可以在任何地方工作,只要你有AWS证书可以上传到S3。您不必从EC2执行
scp
。你可以在你的电脑上,或者任何地方,真的。