Aws lambda 归档传入JSON blob的无服务器方法?

Aws lambda 归档传入JSON blob的无服务器方法?,aws-lambda,Aws Lambda,我正在考虑构建一个无服务器web API,它使用API网关来接收JSON blob流。我想归档每个传入的blob(当然,在一些基本的身份验证和验证之后)。你对此有何建议 其他信息: 我正在使用AWS Lambda降低成本 档案很少被访问,所以我一直在关注S3冰川以降低价格。我的问题是我需要弄清楚如何对每个S3文件进行BLOB批处理,以避免许多文件的开销 我一直在关注的替代存储服务是Cloudwatch日志和DynamoDB 好问题,我会发布我可能的解决方案。还有可能列出更多的需求、您期望的负载

我正在考虑构建一个无服务器web API,它使用API网关来接收JSON blob流。我想归档每个传入的blob(当然,在一些基本的身份验证和验证之后)。你对此有何建议

其他信息:

  • 我正在使用AWS Lambda降低成本
  • 档案很少被访问,所以我一直在关注S3冰川以降低价格。我的问题是我需要弄清楚如何对每个S3文件进行BLOB批处理,以避免许多文件的开销
  • 我一直在关注的替代存储服务是Cloudwatch日志和DynamoDB

    • 好问题,我会发布我可能的解决方案。还有可能列出更多的需求、您期望的负载、您试图实现的基准等吗?冰川是您想要使用的服务吗?因为从那里检索数据需要花费相当多的时间和成本(根据您拥有的数据量进行一些计算)

      我将此任务分为两个不同的AWS Lambda函数:

      • 第一个Lambda接收JSON并将其作为纯文本文件保存到S3中

      • 现在,根据保存到bucket中的项目或大小()设置Cloudwatch警报。该警报将触发下一个lambda存档功能。假设警报是在收到30MB数据后执行的

      • 归档功能的任务是将S3 bucket内容与zip/tar包放在一起,删除归档文件并将归档文件移动到下一个S3 bucket/Glacier中