Amazon web services AWS S3存储桶和google云存储桶之间的实时同步

Amazon web services AWS S3存储桶和google云存储桶之间的实时同步,amazon-web-services,amazon-s3,google-cloud-platform,google-cloud-storage,rsync,Amazon Web Services,Amazon S3,Google Cloud Platform,Google Cloud Storage,Rsync,我有一个AWS s3桶,在AWS消防软管中执行一些操作后,我每分钟都会收到多个拼花文件。现在我必须用GCP云存储桶实时同步这些文件,因为我们有多云环境,进一步的过程将在GCP云中进行。 但我有一个问题,我如何在两个云存储桶之间进行实时同步,以便任何文件一到达AWS s3,它就应该同时到达GCP存储桶。如果你的字面意思是更新发生在S3和GCS原子级,请输入任何信息,这是不可能的。您所能做的最好的工作就是在一个更新完成时获取通知,并启动到另一个的副本。您需要做一些工作,以使该作业在瞬时故障方面具有健

我有一个AWS s3桶,在AWS消防软管中执行一些操作后,我每分钟都会收到多个拼花文件。现在我必须用GCP云存储桶实时同步这些文件,因为我们有多云环境,进一步的过程将在GCP云中进行。
但我有一个问题,我如何在两个云存储桶之间进行实时同步,以便任何文件一到达AWS s3,它就应该同时到达GCP存储桶。如果你的字面意思是更新发生在S3和GCS原子级,请输入任何信息,这是不可能的。您所能做的最好的工作就是在一个更新完成时获取通知,并启动到另一个的副本。您需要做一些工作,以使该作业在瞬时故障方面具有健壮性。

我不知道有任何专门用于此的aws工具。但一种方法是在bucket上启用通知,以触发lambda进行新的上传。然后lambda将对象复制到gcp。您使用的术语是
realtime
。Firehose不支持Google云存储,因此答案自动为否。如果您不需要实时行为,可以实现一个事件系统,如Lambda,它将对象从S3复制到云存储。