Amazon web services 使用AWS管道进行夜间数据加载

Amazon web services 使用AWS管道进行夜间数据加载,amazon-web-services,amazon-data-pipeline,Amazon Web Services,Amazon Data Pipeline,我有以下每晚运行的流程: 从FTP服务器获取XML 使用大量XSLT将XML转换为MySql格式的XML 使用“loadxml”mysql命令加载新的XML 我一直在读关于AWS数据管道的书,我没有在Ec2实例上运行这个过程,听起来AWS管道可能适合于此,但我有几个问题: 在步骤2中,xslt具有一些运行的自定义函数。目前,转换是通过.NET控制台应用程序完成的,但如果有办法在云lambda中实现的话,我可以将其转换为节点 管道能否在数据库上运行LOAD XML命令?我想我必须将xml输出到s

我有以下每晚运行的流程:

  • 从FTP服务器获取XML
  • 使用大量XSLT将XML转换为MySql格式的XML
  • 使用“loadxml”mysql命令加载新的XML
  • 我一直在读关于AWS数据管道的书,我没有在Ec2实例上运行这个过程,听起来AWS管道可能适合于此,但我有几个问题:

    • 在步骤2中,xslt具有一些运行的自定义函数。目前,转换是通过.NET控制台应用程序完成的,但如果有办法在云lambda中实现的话,我可以将其转换为节点
    • 管道能否在数据库上运行LOAD XML命令?我想我必须将xml输出到s3存储桶

    AWS管道对于这项任务来说是个好主意,还是我走错了方向?

    这在AWS数据管道中是很有可能的。在github存储库中的许多其他示例中,请参见以下示例

    ShellCommandWithFTP

    红移鸟

    您可以将xml转换为CSV并使用CopyActivity