Azure sql database 在Azure sql中摄取和处理数据的选项

Azure sql database 在Azure sql中摄取和处理数据的选项,azure-sql-database,etl,data-processing,Azure Sql Database,Etl,Data Processing,我需要专家对我正在做的一个项目发表意见。目前,我们使用调用存储过程的本地脚本将数据文件加载到Azure sql数据库中。我计划用ssis作业替换脚本,将数据加载到Azure Sql中,但考虑到我们的需要,我想知道这是否是一个好的选择。我也接受不同的建议。我们所经历的过程是将数据文件加载到临时表,并在更新活动表之前进行验证。验证和更新是通过调用存储过程来完成的……因此ssis包将只加载数据并调用这些存储过程。我看过ADF IR和Databricks,但它们似乎有些过分,但我愿意听到有经验的人也使用

我需要专家对我正在做的一个项目发表意见。目前,我们使用调用存储过程的本地脚本将数据文件加载到Azure sql数据库中。我计划用ssis作业替换脚本,将数据加载到Azure Sql中,但考虑到我们的需要,我想知道这是否是一个好的选择。我也接受不同的建议。我们所经历的过程是将数据文件加载到临时表,并在更新活动表之前进行验证。验证和更新是通过调用存储过程来完成的……因此ssis包将只加载数据并调用这些存储过程。我看过ADF IR和Databricks,但它们似乎有些过分,但我愿意听到有经验的人也使用它们。我目前也在本地运行ssis包。对于这种情况,有没有关于更好的体系结构或工具的建议?谢谢

您可以从Azure Blob存储区批量插入数据:


然后,您可以使用ADF(无IR)或DataRicks或Azure批处理或Azure弹性作业来计划执行。

我肯定会查看Azure Data Factory数据流。有了它,您可以在Azure数据工厂GUI中轻松构建ETL管道

在下面的示例中,读取、连接Blob存储中的两个文本文件,添加代理密钥,最后将数据加载到Azure Synapse Analytics(与Azure SQL相同):


最后,您将这个映射数据流放入一个管道,并可以触发它,例如。G如果新数据到达。

谢谢您的建议!我将为您提到的选项设置测试。