Amazon web services 使用AWS管道进行夜间数据加载
我有以下每晚运行的流程:Amazon web services 使用AWS管道进行夜间数据加载,amazon-web-services,amazon-data-pipeline,Amazon Web Services,Amazon Data Pipeline,我有以下每晚运行的流程: 从FTP服务器获取XML 使用大量XSLT将XML转换为MySql格式的XML 使用“loadxml”mysql命令加载新的XML 我一直在读关于AWS数据管道的书,我没有在Ec2实例上运行这个过程,听起来AWS管道可能适合于此,但我有几个问题: 在步骤2中,xslt具有一些运行的自定义函数。目前,转换是通过.NET控制台应用程序完成的,但如果有办法在云lambda中实现的话,我可以将其转换为节点 管道能否在数据库上运行LOAD XML命令?我想我必须将xml输出到s
- 在步骤2中,xslt具有一些运行的自定义函数。目前,转换是通过.NET控制台应用程序完成的,但如果有办法在云lambda中实现的话,我可以将其转换为节点
- 管道能否在数据库上运行LOAD XML命令?我想我必须将xml输出到s3存储桶
AWS管道对于这项任务来说是个好主意,还是我走错了方向?这在AWS数据管道中是很有可能的。在github存储库中的许多其他示例中,请参见以下示例 ShellCommandWithFTP 红移鸟 您可以将xml转换为CSV并使用CopyActivity