Azure data factory Azure数据工厂:两行值之间的差异

Azure data factory Azure数据工厂:两行值之间的差异,azure-data-factory,Azure Data Factory,正在Azure Data Factory中寻找一种方法,以获取同一列从最新记录到下一个最新记录的差异 例如,如何在此处创建“差异”列: ID值差异 0423025 032050 02205 5 01 200可以使用窗口转换来执行此操作。请按照以下步骤操作: 1.添加源 添加一个窗口转换并设置如下屏幕截图 数据预览: 另一种选择是在Azure Synapse Analytics中使用无服务器SQL池服务。这是一项按量付费服务,允许您查询Azure存储中存储的平面文件、json和拼花地板

正在Azure Data Factory中寻找一种方法,以获取同一列从最新记录到下一个最新记录的差异

例如,如何在此处创建“差异”列:

ID值差异
0423025
032050
02205 5

01 200可以使用窗口转换来执行此操作。请按照以下步骤操作:

1.添加源

  • 添加一个窗口转换并设置如下屏幕截图
  • 数据预览:


    另一种选择是在Azure Synapse Analytics中使用无服务器SQL池服务。这是一项按量付费服务,允许您查询Azure存储中存储的平面文件、json和拼花地板

    下面是一个针对.csv文件的示例查询,但也可以是拼花地板:

    SELECT
        [id],
        [value],
        [value] - LAG([value]) OVER( ORDER BY [id] ) diff
    FROM
        OPENROWSET(
            BULK 'https://someLake.dfs.core.windows.net/datalake/raw/csv/diff.csv',
            FORMAT = 'CSV',
            PARSER_VERSION = '2.0',
            HEADER_ROW = TRUE
        ) AS [result]
    ORDER BY [id] DESC
    
    我的结果:


    例如,您可以将此SQL语句用作Azure Data Factory中复制活动的源。

    源文件/源数据的格式是什么?他们在哪里?例如datalake,database等源文件是数据湖中的拼花地板文件。对此有任何更新吗?