需要在csv文件中添加标题和尾部记录-Azure数据工厂

需要在csv文件中添加标题和尾部记录-Azure数据工厂,azure,azure-data-factory,azure-data-factory-2,azure-data-factory-pipeline,Azure,Azure Data Factory,Azure Data Factory 2,Azure Data Factory Pipeline,我是azure data factory的新手,需要使用azure data factory实现以下逻辑,我们将csv文件从源传输到目标,并在文件中进行一些转换 输入文件包含以下数据: 111|101|2019-02-04 21:04:57 222|202|2019-02-04 21:33:54 333|202|2019-02-04 20:23:55 预期产出: H|TestFile|currentDateTime------------ Need to add this header r

我是azure data factory的新手,需要使用azure data factory实现以下逻辑,我们将csv文件从源传输到目标,并在文件中进行一些转换

输入文件包含以下数据:

111|101|2019-02-04 21:04:57

222|202|2019-02-04 21:33:54

333|202|2019-02-04 20:23:55
预期产出:

H|TestFile|currentDateTime------------ Need to add this header record. H and TestFile would be static

111|101|2019-02-04 21:04:57

222|202|2019-02-04 21:33:54

333|202|2019-02-04 20:23:55

T|03-------------------------------------- T is static value. Need to add total number of records here.

有人能帮我更新一下吗:
经过一系列测试,我能得到的最终结果如下:
结构概述如下:

  • 我将标题保存到一个txt文件中。

  • source1
    存储源csv文件,我在Projection选项卡中将列名设置为
    column_1
    source1
    数据预览如下:

  • subrogatekey1活动中,我将
    行号
    作为键列
    1
    作为开始值输入。

  • Window1
    活动中,选择
    Row\u No
    作为窗口列,然后输入expression
    max(Row\u No)
    Window1
    数据预览如下,我可以得到
    行号的最大值。
    

  • 使用
    Pivot1
    活动从列切换到行,输入expression
    concat('T |'),toString(max(Row_No),'00')
    以获取
    T | 03
    Pivot1
    活动数据预览如下:

  • source2
    的设置与
    source1
    相同。

  • DerivedColumn1

    设置列名:
    Column1

    集合表达式:
    concat(列1,“|”,toString(currentTimestamp())

  • subrogateKey2
    活动中,我将
    行号
    作为键列
    2
    作为开始值输入。
    subrogateKey2
    活动数据预览如下:

  • 选择2
    活动时,筛选我们需要的列并为该列指定别名。
    数据预览如下:

  • 标题
    将标题信息存储在csv文件中。将
    Column_1
    设置为列名。

  • subrogateKey3
    活动中,我将
    行号
    作为键列
    1作为开始值输入。
    

  • 联合
    subrogateKey3
    活动和
    Select2
    活动。 它将按
    行号
    列进行排序,因此标题将位于第一行。

  • 然后,我们只能通过
    Select1
    活动选择我们需要的内容。
    选择1
    活动数据预览如下:

  • 联合
    Pivot1
    活动,并通过
    Union2
    活动选择1
    活动。
    Union2
    活动数据预览如下:

  • 运行调试后,最终的csv文件如下:


  • 你能使用数据流吗?嗨@rikta,如果我的答案对你有帮助,请接受(标记)它作为答案。非常感谢!:)非常感谢你,约瑟夫。。。它正在工作:)嗨,约瑟夫,非常感谢你的回复。在标题行中,currentDateTime不是静态值,需要使用currentDateTime函数生成它。任何关于如何进行的建议。此外,我们将只得到一个包含实际数据的输入文件。我需要动态添加标题行和尾行。你能进一步建议吗?是的,我已经更新了我的答案。步骤7将使用CurrentDateTime函数生成一个新列+我给你10英镑,这很有效。非常感谢你约瑟夫:)