如何不断地将数据从本地SQL Db迁移到Azure SQL Db
作为过程的一部分,我需要使用如何不断地将数据从本地SQL Db迁移到Azure SQL Db,azure,azure-sql-database,azure-storage,azure-data-factory,azure-machine-learning-studio,Azure,Azure Sql Database,Azure Storage,Azure Data Factory,Azure Machine Learning Studio,作为过程的一部分,我需要使用数据管理网关不断地将数据从本地SQL Db迁移到Azure SQL Db 此Azure官方文章介绍了如何:。但细节让我有点困惑。如果有人想简要描述这个过程,你会怎么做。在本地上需要执行的2-3个主要步骤和在Azure Cloud上需要执行的2-3个步骤是什么?不需要任何细节注意:解决方案必须涉及使用数据管理网关基于Azure文档,您可以使用“切片”。您可以使用本文提到的时间戳列或顺序整数列执行“增量”提取。为了避免由于内部部署服务器的系统日期略晚于Azure系统日期而
数据管理网关不断地将数据从本地SQL Db迁移到Azure SQL Db
此Azure官方文章介绍了如何:。但细节让我有点困惑。如果有人想简要描述这个过程,你会怎么做。在本地上需要执行的2-3个主要步骤和在Azure Cloud上需要执行的2-3个步骤是什么?不需要任何细节注意:解决方案必须涉及使用数据管理网关
基于Azure文档,您可以使用“切片”。您可以使用本文提到的时间戳列或顺序整数列执行“增量”提取。为了避免由于内部部署服务器的系统日期略晚于Azure系统日期而导致a切片上未包含行的问题,最好使用顺序整数。下面的输入数据集显示了如何定义切片:
{
"name": "AzureBlobInput",
"properties": {
"type": "AzureBlob",
"linkedServiceName": "StorageLinkedService",
"typeProperties": {
"folderPath": "mycontainer/myfolder/{Year}/{Month}/{Day}/",
"partitionedBy": [
{ "name": "Year", "value": {"type": "DateTime","date": "SliceStart","format": "yyyy"}},
{ "name": "Month","value": {"type": "DateTime","date": "SliceStart","format": "MM"}},
{ "name": "Day","value": {"type": "DateTime","date": "SliceStart","format": "dd"}}
],
"format": {
"type": "TextFormat"
}
},
"external": true,
"availability": {
"frequency": "Hour",
"interval": 1
}
}
}
您可以创建“活动”,并使用“可用性”部分指定活动的计划。您可以指定“频率”(分钟、小时、天等)和“间隔”
活动运行消耗或产生的每个数据单元称为数据片。下图显示了具有一个输入数据集和一个输出数据集的活动示例:
该图显示了输入和输出数据集的每小时数据片。该图显示了准备好处理的三个输入片。10-11 AM活动正在进行中,生成10-11 AM输出片
您可以使用变量:SliceStart和SliceEnd访问与数据集JSON中的当前切片关联的时间间隔。您可以在activity JSON中使用这些变量从表示时间序列数据的输入数据集中选择数据(例如:上午8点到上午9点)
您还可以设置管道过去的开始日期,如图所示。执行此操作时,Data Factory会自动计算(反填充)过去的所有数据切片并开始处理它们
"scheduler": {
"frequency": "Hour",
"interval": 1
}