Amazon web services 将TWS文件依赖项放在AWS S3存储文件上

Amazon web services 将TWS文件依赖项放在AWS S3存储文件上,amazon-web-services,amazon-s3,aws-lambda,tivoli-work-scheduler,Amazon Web Services,Amazon S3,Aws Lambda,Tivoli Work Scheduler,我有一个ETL应用程序,它应该迁移到AWS infra。我的应用程序中使用的调度器是Tivoli Work scheduler,我们希望在云上也使用同样的调度器,它具有文件依赖性 现在,当我们转到aws时,要监视的文件将落在S3存储桶中。我们可以将文件的开放依赖项放在S3中吗?如果是,主机名是什么(主机#文件路径) 如果没有,应调整哪些服务以达到此目的。我的日程安排中既有时间,也有文件依赖性 文件可能在凌晨1点上传到S3上。凌晨3点,我的日程安排将被触发,在S3存储桶中查找文件。如果存在,则开始

我有一个ETL应用程序,它应该迁移到AWS infra。我的应用程序中使用的调度器是Tivoli Work scheduler,我们希望在云上也使用同样的调度器,它具有文件依赖性

现在,当我们转到aws时,要监视的文件将落在S3存储桶中。我们可以将文件的开放依赖项放在S3中吗?如果是,主机名是什么(主机#文件路径)

如果没有,应调整哪些服务以达到此目的。我的日程安排中既有时间,也有文件依赖性

文件可能在凌晨1点上传到S3上。凌晨3点,我的日程安排将被触发,在S3存储桶中查找文件。如果存在,则开始执行,如果不存在,则应根据tws上的其他参数等待


任何帮助或建议都很好。

如果我理解正确,凌晨3点触发的作业将识别过去24小时内上传的所有文件

您可以列出所有s3文件,以列出在特定时间段内上载的所有内容


更好的解决方案是创建s3upload触发器,它将信息发送到SQS,让您的代码检查那里的深度(消息数量),并开始逐个处理文件。另一个好处是可以确保所有项目都得到处理,而不必担心时间过长。

谢谢您的回答。这里的问题是,我还需要一个时间依赖性,因为ETL应用程序的设计是这样的,如果文件延迟到达,我需要等待特定的时间。TWS提供此等待功能,在文件上打开并进行适当的解析。是否可以使用S3事件/触发器和lambda在EBS上写入文件?我没有尝试过,只是想了一下