需要在csv文件中添加标题和尾部记录-Azure数据工厂
我是azure data factory的新手,需要使用azure data factory实现以下逻辑,我们将csv文件从源传输到目标,并在文件中进行一些转换 输入文件包含以下数据:需要在csv文件中添加标题和尾部记录-Azure数据工厂,azure,azure-data-factory,azure-data-factory-2,azure-data-factory-pipeline,Azure,Azure Data Factory,Azure Data Factory 2,Azure Data Factory Pipeline,我是azure data factory的新手,需要使用azure data factory实现以下逻辑,我们将csv文件从源传输到目标,并在文件中进行一些转换 输入文件包含以下数据: 111|101|2019-02-04 21:04:57 222|202|2019-02-04 21:33:54 333|202|2019-02-04 20:23:55 预期产出: H|TestFile|currentDateTime------------ Need to add this header r
111|101|2019-02-04 21:04:57
222|202|2019-02-04 21:33:54
333|202|2019-02-04 20:23:55
预期产出:
H|TestFile|currentDateTime------------ Need to add this header record. H and TestFile would be static
111|101|2019-02-04 21:04:57
222|202|2019-02-04 21:33:54
333|202|2019-02-04 20:23:55
T|03-------------------------------------- T is static value. Need to add total number of records here.
有人能帮我更新一下吗:
经过一系列测试,我能得到的最终结果如下:
结构概述如下:
source1
存储源csv文件,我在Projection选项卡中将列名设置为column_1
。
source1
数据预览如下:
行号
作为键列和1
作为开始值输入。
Window1
活动中,选择Row\u No
作为窗口列,然后输入expressionmax(Row\u No)
。
Window1
数据预览如下,我可以得到行号的最大值。
Pivot1
活动从列切换到行,输入expressionconcat('T |'),toString(max(Row_No),'00')
以获取T | 03
。
Pivot1
活动数据预览如下:
source2
的设置与source1
相同。
DerivedColumn1
,设置列名:
Column1
,集合表达式:
concat(列1,“|”,toString(currentTimestamp())
。
subrogateKey2
活动中,我将行号
作为键列和2
作为开始值输入。
subrogateKey2
活动数据预览如下:
选择2
活动时,筛选我们需要的列并为该列指定别名。
数据预览如下:
标题
将标题信息存储在csv文件中。将Column_1
设置为列名。
subrogateKey3
活动中,我将行号
作为键列和1作为开始值输入。
subrogateKey3
活动和Select2
活动。
它将按行号
列进行排序,因此标题将位于第一行。
Select1
活动选择我们需要的内容。
选择1
活动数据预览如下:
Pivot1
活动,并通过Union2
活动选择1活动。
Union2
活动数据预览如下:
你能使用数据流吗?嗨@rikta,如果我的答案对你有帮助,请接受(标记)它作为答案。非常感谢!:)非常感谢你,约瑟夫。。。它正在工作:)嗨,约瑟夫,非常感谢你的回复。在标题行中,currentDateTime不是静态值,需要使用currentDateTime函数生成它。任何关于如何进行的建议。此外,我们将只得到一个包含实际数据的输入文件。我需要动态添加标题行和尾行。你能进一步建议吗?是的,我已经更新了我的答案。步骤7将使用CurrentDateTime函数生成一个新列+我给你10英镑,这很有效。非常感谢你约瑟夫:)