Warning: file_get_contents(/data/phpspider/zhask/data//catemap/0/azure/12.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181

Warning: file_get_contents(/data/phpspider/zhask/data//catemap/5/google-sheets/3.json): failed to open stream: No such file or directory in /data/phpspider/zhask/libs/function.php on line 167

Warning: Invalid argument supplied for foreach() in /data/phpspider/zhask/libs/tag.function.php on line 1116

Notice: Undefined index: in /data/phpspider/zhask/libs/function.php on line 180

Warning: array_chunk() expects parameter 1 to be array, null given in /data/phpspider/zhask/libs/function.php on line 181
如何不断地将数据从本地SQL Db迁移到Azure SQL Db_Azure_Azure Sql Database_Azure Storage_Azure Data Factory_Azure Machine Learning Studio - Fatal编程技术网

如何不断地将数据从本地SQL Db迁移到Azure SQL Db

如何不断地将数据从本地SQL Db迁移到Azure SQL Db,azure,azure-sql-database,azure-storage,azure-data-factory,azure-machine-learning-studio,Azure,Azure Sql Database,Azure Storage,Azure Data Factory,Azure Machine Learning Studio,作为过程的一部分,我需要使用数据管理网关不断地将数据从本地SQL Db迁移到Azure SQL Db 此Azure官方文章介绍了如何:。但细节让我有点困惑。如果有人想简要描述这个过程,你会怎么做。在本地上需要执行的2-3个主要步骤和在Azure Cloud上需要执行的2-3个步骤是什么?不需要任何细节注意:解决方案必须涉及使用数据管理网关基于Azure文档,您可以使用“切片”。您可以使用本文提到的时间戳列或顺序整数列执行“增量”提取。为了避免由于内部部署服务器的系统日期略晚于Azure系统日期而

作为过程的一部分,我需要使用
数据管理网关
不断地将数据从本地SQL Db迁移到Azure SQL Db


此Azure官方文章介绍了如何:。但细节让我有点困惑。如果有人想简要描述这个过程,你会怎么做。在
本地
上需要执行的2-3个
主要
步骤和在
Azure Cloud上需要执行的2-3个
步骤是什么?不需要任何细节注意:解决方案必须涉及使用
数据管理网关

基于Azure文档,您可以使用“切片”。您可以使用本文提到的时间戳列或顺序整数列执行“增量”提取。为了避免由于内部部署服务器的系统日期略晚于Azure系统日期而导致a切片上未包含行的问题,最好使用顺序整数。下面的输入数据集显示了如何定义切片:

{
  "name": "AzureBlobInput",
  "properties": {
    "type": "AzureBlob",
    "linkedServiceName": "StorageLinkedService",
    "typeProperties": {
      "folderPath": "mycontainer/myfolder/{Year}/{Month}/{Day}/",
      "partitionedBy": [
        { "name": "Year", "value": {"type": "DateTime","date": "SliceStart","format": "yyyy"}},
        { "name": "Month","value": {"type": "DateTime","date": "SliceStart","format": "MM"}},
        { "name": "Day","value": {"type": "DateTime","date": "SliceStart","format": "dd"}}
      ],
      "format": {
        "type": "TextFormat"
      }
    },
    "external": true,
    "availability": {
      "frequency": "Hour",
      "interval": 1
    }
  }
}
您可以创建“活动”,并使用“可用性”部分指定活动的计划。您可以指定“频率”(分钟、小时、天等)和“间隔”

活动运行消耗或产生的每个数据单元称为数据片。下图显示了具有一个输入数据集和一个输出数据集的活动示例:

该图显示了输入和输出数据集的每小时数据片。该图显示了准备好处理的三个输入片。10-11 AM活动正在进行中,生成10-11 AM输出片

您可以使用变量:SliceStart和SliceEnd访问与数据集JSON中的当前切片关联的时间间隔。您可以在activity JSON中使用这些变量从表示时间序列数据的输入数据集中选择数据(例如:上午8点到上午9点)

您还可以设置管道过去的开始日期,如图所示。执行此操作时,Data Factory会自动计算(反填充)过去的所有数据切片并开始处理它们

            "scheduler": {
                "frequency": "Hour",
                "interval": 1
            }