Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 如何在s3中使用sync获取下载的文件?_Amazon Web Services_Amazon S3_Aws Cli - Fatal编程技术网

Amazon web services 如何在s3中使用sync获取下载的文件?

Amazon web services 如何在s3中使用sync获取下载的文件?,amazon-web-services,amazon-s3,aws-cli,Amazon Web Services,Amazon S3,Aws Cli,我从某个bucket下载文件时使用的方式如下: aws s3 sync s3://my-bucket --profile xyz c:\Destination --exclude "*" --include ".txt" 然后我需要从这些文件导入数据,但是我需要导入那些最近下载的文件,否则我可能会多次导入数据 是否有任何指令/选项可返回该文件列表?不完全如此 如果您正在执行增量同步,并且只希望对“新下载”的文件执行操作,则以下是一些选项: 保留文件的“之前”列表并进行比较 您可以使用文件的创

我从某个bucket下载文件时使用的方式如下:

aws s3 sync s3://my-bucket --profile xyz c:\Destination --exclude "*" --include ".txt"
然后我需要从这些文件导入数据,但是我需要导入那些最近下载的文件,否则我可能会多次导入数据

是否有任何指令/选项可返回该文件列表?

不完全如此

如果您正在执行增量
同步
,并且只希望对“新下载”的文件执行操作,则以下是一些选项:

  • 保留文件的“之前”列表并进行比较
  • 您可以使用文件的创建时间进行比较
  • 获取命令的输出并将其转换为有用的信息
样本输出为:

upload: test.txt to s3://mybucket/test.txt
upload: test2.txt to s3://mybucket/test2.txt

谢谢我想我们最终会做这样的事情,sync命令的选项是有限的,一般来说,我认为S3中的所有命令都是有限的。