Azure data factory 如何使用Azure查找活动获取文件中的行数

Azure data factory 如何使用Azure查找活动获取文件中的行数,azure-data-factory,lookup,azure-data-factory-2,Azure Data Factory,Lookup,Azure Data Factory 2,我正在读取数据文件和记录计数文件,数据文件中有记录计数。我正在使用查找活动获取数据文件中的计数,并将其与RecordCount文件的计数进行比较。这种方法很有效,当我们的计数少于5000时,我可以比较记录。当数据文件的计数超过5000时,它只考虑5000条记录,而我的管道由于计数不匹配而中止。 例如: 虽然计数是相等的,但是查找只考虑5000个记录,并且会产生不匹配。 如何实现这一点。在查找之前向管道中添加数据流。源=ADLS第2代,接收器=ADLS第2代。添加代理键转换,将新列称为“mycou

我正在读取数据文件和记录计数文件,数据文件中有记录计数。我正在使用查找活动获取数据文件中的计数,并将其与RecordCount文件的计数进行比较。这种方法很有效,当我们的计数少于5000时,我可以比较记录。当数据文件的计数超过5000时,它只考虑5000条记录,而我的管道由于计数不匹配而中止。 例如:

虽然计数是相等的,但是查找只考虑5000个记录,并且会产生不匹配。


如何实现这一点。

在查找之前向管道中添加数据流。源=ADLS第2代,接收器=ADLS第2代。添加代理键转换,将新列称为“mycounter”。添加聚合转换并使用max(mycounter)公式将新列称为“rowcount”。在接收器中,只输出“rowcount”列。现在您将拥有一个新的数据集,它只是任何文件中的行数。您可以在数据流之后直接将该行计数作为管道中的单行查找活动使用。

数据源是什么?我使用的是哪一代ADLS?ADLS Gen2和文件是逗号分隔的。我将使用DataRicks笔记本或Azure Synapse Analytics无服务器SQL池或Synapse笔记本来执行此操作。
Datafile count: 7500

RecordCount file: 7500