如何使用Azure Data Factory删除文件中的重复项，而不使用Dataflow或DataRicks或Azure datalake analytics

我正在创建一个数据管道，将数据从一个文件复制到另一个文件。我的输入文件有4列，输出文件有2列。我只想复制输入文件的第1列和第3列，并将其存储在输出文件中。一旦被复制，我想从输出文件中删除重复项。但我不能使用Dataflow、Dataricks或Azure datalake analytics，因为我的设置中没有compute。

---

有没有不使用compute的方法来执行此操作？

您需要一个用于重复数据消除的计算环境。ADF管道库中有用于不同行和重复数据消除的预构建模式。

您需要一个用于重复数据消除的计算环境。ADF管道库中有用于不同行和重复数据消除的预构建模式。

我们有两个ask

复制所选列：我们可以这样做，并在“映射”下选择要复制的两列。这是可能的

2.删除重复项：我认为这是一种转变，目前不可能

如果您想使用Azure data lake analytics（ADLA），我认为您可以通过USQL实现这一点

我们有两个问题

复制所选列：我们可以这样做，并在“映射”下选择要复制的两列。这是可能的

2.删除重复项：我认为这是一种转变，目前不可能

如果您想使用Azure data lake analytics（ADLA），我认为您可以通过USQL实现这一点

---

ya一旦我有了compute env，就可以轻松完成。但不幸的是，我们还没有对我们的环境进行计算。所以我在探索一些没有compute的东西。不确定如果没有compute env，你会如何计算重复项。一旦我有了compute env，这很容易做到。但不幸的是，我们还没有对我们的环境进行计算。所以我在探索一些没有计算的东西。不确定如果没有计算环境，你将如何计算重复项让我们明确一点：你可以做到这一点，但你需要一个计算引擎。数据流、数据块、SQL、ADLA。。。没关系。但这些都是计算环境。它们都可以帮助消除重复。让我们明确一点：你可以这样做，但你需要一个计算引擎。数据流、数据块、SQL、ADLA。。。没关系。但这些都是计算环境。它们都可以帮助消除重复。