Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 从aws s3 bucket解析数据,并将解析后的数据保存到另一个bucket_Amazon Web Services_Amazon S3_Amazon Ec2 - Fatal编程技术网

Amazon web services 从aws s3 bucket解析数据,并将解析后的数据保存到另一个bucket

Amazon web services 从aws s3 bucket解析数据,并将解析后的数据保存到另一个bucket,amazon-web-services,amazon-s3,amazon-ec2,Amazon Web Services,Amazon S3,Amazon Ec2,我是AWS S3的新手,我正在读AWS关于如何将数据从一个存储桶移动到另一个存储桶的教程 然而,我没有注意到,或者它没有提到可以在保存数据之前应用钩子或任何中间步骤 理想情况下,我们希望从一个日志存储桶中获取数据(它非常脏,需要清理一点),并将它的另一个副本保存到另一个S3中(解析的数据)。我们还希望定期这样做,以便将来需要自动化 我想知道的是,我可以只用S3来完成这项工作,还是需要使用另一个服务来进行解析并保存到另一个bucket中 任何洞察都将不胜感激,谢谢 S3本身只是为了存储。你应该看

我是AWS S3的新手,我正在读AWS关于如何将数据从一个存储桶移动到另一个存储桶的教程

然而,我没有注意到,或者它没有提到可以在保存数据之前应用钩子或任何中间步骤

理想情况下,我们希望从一个日志存储桶中获取数据(它非常脏,需要清理一点),并将它的另一个副本保存到另一个S3中(解析的数据)。我们还希望定期这样做,以便将来需要自动化

我想知道的是,我可以只用S3来完成这项工作,还是需要使用另一个服务来进行解析并保存到另一个bucket中


任何洞察都将不胜感激,谢谢

S3本身只是为了存储。你应该看看

每次将文件推送到日志存储桶时,S3都会触发一个Lambda函数(您编写的),该函数可以读取文件、执行清理,然后将清理后的数据推送到新的S3存储桶


希望这能有所帮助。

S3本身只是用于存储。你应该看看

每次将文件推送到日志存储桶时,S3都会触发一个Lambda函数(您编写的),该函数可以读取文件、执行清理,然后将清理后的数据推送到新的S3存储桶


希望这有帮助。

您想更改文件中的实际数据还是S3中的文件结构?您想更改文件中的实际数据还是S3中的文件结构?若要在此基础上展开。。。上述方法将在日志文件放入AmazonS3存储桶后立即激活AWS Lambda函数,而不是考虑定期执行某些操作。因此,不需要定期激活代码。Lambda函数可以用您选择的语言编写,最多可以运行15分钟。它有一个临时500 MB磁盘空间的限制,但您的日志文件不应该太大。若要在此基础上扩展。。。上述方法将在日志文件放入AmazonS3存储桶后立即激活AWS Lambda函数,而不是考虑定期执行某些操作。因此,不需要定期激活代码。Lambda函数可以用您选择的语言编写,最多可以运行15分钟。它有一个临时500MB磁盘空间的限制,但您的日志文件不应该太大。