Amazon web services AWS-从AWS存储器传输和检索大规模数据的最佳方式 我有一个使用AWS的离子移动混合应用程序。 与API网关触发用于简单post、get请求的lamdba函数类似

Amazon web services AWS-从AWS存储器传输和检索大规模数据的最佳方式 我有一个使用AWS的离子移动混合应用程序。 与API网关触发用于简单post、get请求的lamdba函数类似,amazon-web-services,amazon-s3,redis,aws-lambda,amazon-dynamodb,Amazon Web Services,Amazon S3,Redis,Aws Lambda,Amazon Dynamodb,我想在AWS上存储大型JSON(大约5K个项目),这样它们就可以很容易地被检索并存储在应用程序的本地存储中 我计划创建一个ETL cron作业,用于将数据从我的服务器上传到AWS AWS提供的Redis、DynamoDB等服务很少可以用于这种场景,但我对这种方法感到困惑 我思考并阅读了一些选项: API网关->DynamoDB API网关->lambda函数->DynamoDB API网关->lambda函数->Redis 我也读过S3和pipline,但我不确定它们是否适合 请告知 谢谢如果我

我想在AWS上存储大型JSON(大约5K个项目),这样它们就可以很容易地被检索并存储在应用程序的本地存储中

我计划创建一个ETL cron作业,用于将数据从我的服务器上传到AWS

AWS提供的Redis、DynamoDB等服务很少可以用于这种场景,但我对这种方法感到困惑

我思考并阅读了一些选项:

  • API网关->DynamoDB
  • API网关->lambda函数->DynamoDB
  • API网关->lambda函数->Redis
  • 我也读过S3和pipline,但我不确定它们是否适合

    请告知


    谢谢

    如果我正确理解了您的问题,您希望将服务器上的JSON文件数据放入AWS,以便您的移动客户端(使用Lambda等)能够更快地访问该数据

    在这种情况下,AWS S3就足够了(前提是您知道将向您的客户机提供什么JSON文件,并且不必查看/查询它的内容)。应该是这样的:

    [ Server ] ==[Whatever]==> [ AWS S3 ]
    
    [ AWS S3 ] <==[Lambda]==> [ Mobile client ]
    
    [服务器]===[任何东西]==>[AWS S3]
    [AWS S3][移动客户端]
    
    关于这一点,请看一看。也许你能帮上忙

    编辑:在阅读了您的评论之后,我意识到您的意图是将oracle数据库中当前的数据放到AWS上基于JSON的数据库中。在这种情况下,DynamoDB就是一条出路。你应该遵循@Haresh Chhelana的解决方案,编辑你的问题以使其更清晰


    如果在迁移到DynamoDB之前不需要高级数据转换,您也可以利用它。首先,Redis不是最适合您的需求的。将API网关与DynamoDB或Lambda一起使用将满足您的需求

    1。API网关->DynamoDB:如果您只是尝试将JSON数据存储到DynamoDB中而没有

    2。API网关->Lambda->DynamoDB:选择是否需要在存储到DynamoDB之前对JSON数据执行某些操作或修改

    建议:选择第一种方法(API网关->DynamoDB)使用API网关POST请求将JSON数据存储到DynamoDB中,并使用API网关GET请求根据查询检索JSON数据


    如何实现第一种方法请参考亚马逊博客:

    S3可用于存储静态文件,如图像、视频等。您使用的是什么类型的数据库?我有一个本地Oracle数据库,但是我想将数据作为JSON导入AWS,或者将其复制到DynamoDB,并通过API网关从应用程序中查询为JSON。您可以按照中给出的说明将数据导入DynamoDBNot。我希望移动客户端获得这个大json并将其存储在客户端本地存储(缓存)中。它自身的数据位于oracle数据库中。Oracle DB->转换为JSON->AWS->客户端本地存储