Amazon redshift 从sql server向Amazon红移增量上载数据

Amazon redshift 从sql server向Amazon红移增量上载数据,amazon-redshift,msbi,Amazon Redshift,Msbi,我们的原始数据在SQL SERVER中,数据不断增长,增长率很高,我们需要将数据增量加载到Redshift以进行分析。您能告诉我一个加载数据的好方法吗?SSI直接加载到Redshift(不使用S3)的可行性如何。您可以尝试通过SSH加载,但当然,Windows上的SSH不受很好的支持 不久前,我做了一个演示,介绍了从SQL Server迁移到Redshift时发现的问题。我们发现SSI对于与AWS服务交互不是很有用 最后,您可以研究一些商业“复制”工具,这些工具自动执行从本地数据库增量更新红

我们的原始数据在SQL SERVER中,数据不断增长,增长率很高,我们需要将数据增量加载到Redshift以进行分析。您能告诉我一个加载数据的好方法吗?SSI直接加载到Redshift(不使用S3)的可行性如何。您可以尝试通过SSH加载,但当然,Windows上的SSH不受很好的支持

不久前,我做了一个演示,介绍了从SQL Server迁移到Redshift时发现的问题。我们发现SSI对于与AWS服务交互不是很有用

最后,您可以研究一些商业“复制”工具,这些工具自动执行从本地数据库增量更新红移的过程。我听到了关于和谐的好消息


我的想法是,我希望使用SSI将数据加载到S3,然后将S3复制到Redshift表。是否有任何开源工具或实现可以将S3自动复制到Redshift。不幸的是,您必须从头开始创建一些东西。我们使用CMD脚本(使用AWS CLI),这些脚本是使用
xp\u cmdshell
从SQL Server运行的。如果愿意,您可以让SSI运行脚本。但是剧本本身才是艰苦的工作。