Fatal编程技术网
  • amazon-s3/
  • Amazon s3 AWS CLI命令将特定文件从S3复制到本地或hdfs

Amazon s3 AWS CLI命令将特定文件从S3复制到本地或hdfs

amazon-s3

Amazon s3 AWS CLI命令将特定文件从S3复制到本地或hdfs,amazon-s3,aws-cli,Amazon S3,Aws Cli,我正在尝试将一些文件的列表从S3存储桶复制到本地或hdfs。我的存储桶有220000多个对象，我只想将以abc2018-开头的文件复制到本地系统。abc2018-中的文件列表超过20k。 我刚刚获取了一个示例文件，并尝试使用以下命令复制它，结果成功： s3cmd获取“s3://bucketname/abc2018-01-02.txt”~/ 如果我想用abc2018将所有文件复制到主文件夹，我没有选择。 我是否需要编写脚本，或者可以使用s3cmd本身实现它？您可以尝试使用AWC Cli：

我正在尝试将一些文件的列表从S3存储桶复制到本地或
hdfs。我的
存储桶有220000多个对象，我只想将以
abc2018-
开头的文件复制到本地系统。
abc2018-
中的文件列表超过20k。
我刚刚获取了一个示例文件，并尝试使用以下命令复制它，结果成功：

s3cmd获取“s3://bucketname/abc2018-01-02.txt”~/

如果我想用abc2018将所有文件复制到主文件夹，我没有选择。

我是否需要编写脚本，或者可以使用s3cmd本身实现它？
您可以尝试使用AWC Cli：


    aws s3 cp s3://bucketname/ ~/ --exclude "*" --include "abc2018-*" --recursive


此命令仅复制所需的图案。
享受吧