Azure数据湖存储-将JSON转换为CSV

我们在Azure Data lake存储中有大小约为100GB的JSON文件。我们需要将它们转换为CSV文件并保存到同一azure data lake存储中的不同文件夹中。有哪些可用选项？

您有两种选择。这通常是一个简单的两步过程：提取和输出

A。 您可以运行ADLA/U-SQL作业来执行此操作。下面是U-SQL中JSON提取器的一个示例

B。

---

另一种选择是创建HDInsight集群来转换数据。您可以使用您选择的任何应用程序。下面是一个在PIG中执行此操作的示例：

我在Azure Data Factory中尝试过此操作，它采用零编码。源和接收器都是ADL。通过简单的一对一映射，在管道中没有任何更改。我们不关心性能，因为这对我们来说是一个批处理工作，下面是性能的快速统计

> Data Read: 42.68 GB Data Written: 12.97 GB Data volume: 42.68 GB Rows:
> 54520950 Throughput: 3.97 MB/s Billed duration for data movement:
> 03:03:41

---

如果你能在你的步骤上发布一些更详细的信息，那将是非常好的，因为这将对到达此页面的其他人非常有用。关于你使用的源和接收器的一些细节如何，或者在管道中有什么特别的事情需要做？您甚至可以向我们展示输入/输出数据集的JSON，如中所示。在这里，我还想了解ADF是如何应对这一数量的。再说一次，有什么特殊要求吗？