将数据从Azure SQL数据库实时复制到Synapse

将数据从Azure SQL数据库实时复制到Synapse,azure,azure-sql-database,analytics,azure-synapse,Azure,Azure Sql Database,Analytics,Azure Synapse,我有几个Azure SQL数据库正在生产中,希望将数据以近乎实时的方式复制到Synapse SQL池中。原因是我必须从生产数据库中卸载一些分析工作,并减少生产数据库的总体负载 我目前在ADF中有一个管道,带有增量表和一个移动数据的滚动窗口。这很好,但我需要更接近实时 你们中有人有过将数据从Azure SQL Server T近实时移动到Synapse SQL池的经验吗 是否有类似于Cosmos HTAP的东西?实际上,从Azure SQL数据库到Synapse SQL池没有实时工具或服务 因为目

我有几个Azure SQL数据库正在生产中,希望将数据以近乎实时的方式复制到Synapse SQL池中。原因是我必须从生产数据库中卸载一些分析工作,并减少生产数据库的总体负载

我目前在ADF中有一个管道,带有增量表和一个移动数据的滚动窗口。这很好,但我需要更接近实时

你们中有人有过将数据从Azure SQL Server T近实时移动到Synapse SQL池的经验吗


是否有类似于Cosmos HTAP的东西?

实际上,从Azure SQL数据库到Synapse SQL池没有实时工具或服务

因为目前ADF中有一个管道,其中包含增量表和移动数据的滚动窗口。您有两种最接近实时的方式:

  • 创建(每5分钟一次)以运行要复制的管道 数据几乎实时地传输到Synapse SQL池
  • 创建一个用于聆听的 Azure SQL数据库表在修改表数据时,添加一个操作“获取管道运行”,以调用数据工厂管道将数据复制到Synapse SQL池

  • HTH.

    您可以使用自定义代码实现此功能,但当需要(接近)实时性时,Azure Data Factory不是最佳的。微软已经宣布了针对Azure SQL数据库的Azure Synapse链接计划,它将帮助您获得从DB到Synapse的(近)实时复制。这将非常适合您的需要。该公告在20年12月3日发布的“用Azure数据和分析塑造你的未来”活动中进行了陈述,在该活动中,GA发布了权限和Synapse新功能


    如果等待一段时间是一个选项,我会建议等待微软更新这个。公众预览的可用性尚未宣布。请继续收看

    你认为数据同步吗?你是说AWS数据同步吗?我目前被锁定到Azure,因此AWS产品将不是一个解决方案。您好@AlbianAndy,如果我的答案对您有帮助,希望您可以将其作为答案接受(单击答案旁边的复选标记,将其从灰色切换为填充)。这可能对其他社区成员有益。非常感谢。