Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/amazon-s3/2.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
Amazon web services 从端点获取JSON文件并将其保存到AWS S3_Amazon Web Services_Amazon S3_Aws Lambda_Amazon Sqs - Fatal编程技术网

Amazon web services 从端点获取JSON文件并将其保存到AWS S3

Amazon web services 从端点获取JSON文件并将其保存到AWS S3,amazon-web-services,amazon-s3,aws-lambda,amazon-sqs,Amazon Web Services,Amazon S3,Aws Lambda,Amazon Sqs,我试图找出从特定端点读取JSON文件,然后将此类对象保存/发布到AWS S3的最佳方式。我已经创建了一个带有模拟响应的模拟端点,我想知道将其“发布”到S3 bucket的最佳方式是什么。每周都会有新的JSON文件可用,我想也许可以使用Lambda AWS和API网关。这是可行的方法吗?我还想探讨启用事件触发器方式来提取数据或调度程序的可能性。你推荐什么?我知道AWS SQS是一个选项,但是如何将获取的JSON文件发送到队列 谢谢,欢迎提供任何资源或建议。我正在寻找可能的方法 > P>请考虑使用N

我试图找出从特定端点读取JSON文件,然后将此类对象保存/发布到AWS S3的最佳方式。我已经创建了一个带有模拟响应的模拟端点,我想知道将其“发布”到S3 bucket的最佳方式是什么。每周都会有新的JSON文件可用,我想也许可以使用Lambda AWS和API网关。这是可行的方法吗?我还想探讨启用事件触发器方式来提取数据或调度程序的可能性。你推荐什么?我知道AWS SQS是一个选项,但是如何将获取的JSON文件发送到队列


谢谢,欢迎提供任何资源或建议。我正在寻找可能的方法

> P>请考虑使用NoDEJS代码的lambda从端点获取调用lambda函数的方法,使用CyrdWaRead事件


有很多不同的方法可以实现这一点,但如果我理解正确,您希望每周从固定端点(您已经设置了?)检索一次JSON响应,然后将该JSON写入存储在S3上的文件或文件序列

如果这是正确的,那么您真正需要的就是Cloudwatch事件(以
cron
格式设置每周计划的重复事件),该事件触发发出请求的lambda函数,然后将其写入S3。您还可以使用相同的lambda函数(或编写另一个由相同的CloudWatch事件触发的函数)使用JSON向SQS发布消息

根据您最喜欢用哪种语言编写,您可以使用SDK完成所有您想做的事情。就我个人而言,我喜欢python库,并结合一个小文件IO将JSON转换成某种文本文件,以及向端点发出实际HTTP请求的库,您应该能够完成所有需要的工作。
bot3
中的有用功能将是和


我不确定您为什么需要API网关在这里执行任何操作,除非您不想通过预定事件触发lambda,而是想通过发出一个单独的HTTP请求来完成,但是您也可以只向原始API发出请求

嗨!感谢您的回复,欢迎来到社区。您将如何实际地将检索到的JSON存储/发布/上传到S3上?使用API getaway怎么样?