Azure Synapse与SSIS包
我使用了几个Azure服务将数据从本地上传到用于Power BI的Azure SQL DWAzure Synapse与SSIS包,azure,ssis,azure-sql-database,azure-synapse,Azure,Ssis,Azure Sql Database,Azure Synapse,我使用了几个Azure服务将数据从本地上传到用于Power BI的Azure SQL DW SQL Server (On Perm) -> Azure Data Factory (SSIS IR, SSIS in Azure SQL Database) -> Azure SQL Database<br/> 2 Azure services used SQL Server(在Perm上)->Azure数据工厂(SSIS IR,Azure SQL数据库中的SSIS)->Az
SQL Server (On Perm) -> Azure Data Factory (SSIS IR, SSIS in Azure SQL Database) -> Azure SQL Database<br/>
2 Azure services used
SQL Server(在Perm上)->Azure数据工厂(SSIS IR,Azure SQL数据库中的SSIS)->Azure SQL数据库
2使用的Azure服务
然而,我们发现数据量的增长远远超过了平台的设计。我们计划改为Azure Synapse 但根据Microsoft文档,数据工厂(预览版)似乎没有附带SSIS IR。
我想到的是:
SQL Server (On Perm) -> Azure Data Factory (SSIS IR, SSIS in Azure SQL Database) -> Azure Synapse<br/>
3 Azure services used
SQL Server(在Perm上)->Azure数据工厂(SSIS IR,Azure SQL数据库中的SSIS)->Azure Synapse
3使用的Azure服务
我想知道它是否有更好的方式让Synapse与SSI结合
非常感谢。Azure SQL数据库现在有一个 Azure SQL数据库中的超规模服务层提供以下附加功能:
- 支持高达100 TB的数据库大小
- 几乎即时的数据库备份(基于存储的文件快照) 在Azure Blob存储中),不考虑大小,对 计算资源
- 快速数据库恢复(基于文件快照)只需几分钟,而不是几分钟 超过小时或天(不是数据操作的大小)
- 由于更高的日志吞吐量和更快的响应速度,整体性能更高 事务提交时间,与数据量无关
- 快速扩展—您可以为其配置一个或多个只读节点 卸载您的读取工作负载并用作热备用
- 快速放大-您可以在固定时间内放大您的计算 资源,以在需要时适应繁重的工作负载,然后进行扩展 当不需要时,计算资源将被备份
由于SSIS IR不支持Azure Synapse Analytics,因此我认为放大Azure SQL数据库服务层对您来说是一个不错的选择。Azure SQL数据库现在有一个 Azure SQL数据库中的超规模服务层提供以下附加功能:
- 支持高达100 TB的数据库大小
- 几乎即时的数据库备份(基于存储的文件快照) 在Azure Blob存储中),不考虑大小,对 计算资源
- 快速数据库恢复(基于文件快照)只需几分钟,而不是几分钟 超过小时或天(不是数据操作的大小)
- 由于更高的日志吞吐量和更快的响应速度,整体性能更高 事务提交时间,与数据量无关
- 快速扩展—您可以为其配置一个或多个只读节点 卸载您的读取工作负载并用作热备用
- 快速放大-您可以在固定时间内放大您的计算 资源,以在需要时适应繁重的工作负载,然后进行扩展 当不需要时,计算资源将被备份
由于SSIS IR不支持Azure Synapse分析,因此我认为扩展Azure SQL数据库服务层对您来说是一个不错的选择。我认为您使用的是Azure SQL数据库,而不是Azure SQL DW。Azure Synapse Analytics以前是Azure SQL数据仓库。根据当前估计,数据大小将超过5TB,超过SQL数据库数据限制。我确实考虑过拆分数据库,但最终用户在超规模层中的功耗将更加复杂,存储成本是根据实际分配计算的。分配的空间会根据需要自动增加,最多可达100 TB。您好@Capture,您是否考虑过扩大价格层?您是否考虑过将所有暂存数据移出数据库并移入数据池?这将节省数据库中的空间。还要看看columnstore索引,它提供了5-10倍的大规模压缩,这取决于您的数据。我认为您使用的是Azure SQL数据库,而不是Azure SQL DW。Azure Synapse Analytics以前是Azure SQL数据仓库。根据当前估计,数据大小将超过5TB,超过SQL数据库数据限制。我确实考虑过拆分数据库,但最终用户在超规模层中的功耗将更加复杂,存储成本是根据实际分配计算的。分配的空间会根据需要自动增加,最多可达100 TB。您好@Capture,您是否考虑过扩大价格层?您是否考虑过将所有暂存数据移出数据库并移入数据池?这将节省数据库中的空间。还要看看columnstore索引,根据您的数据,它提供了5-10倍的大规模压缩。非常感谢。我在使用弹性池时忽略了这个选项。但是如果我把数据数据库移到超尺度层就太完美了。非常感谢。我在使用弹性池时忽略了这个选项。但是,如果我只是将数据数据库移动到超尺度层,这应该是完美的。