使用Azure Web API应用程序中的C#从Azure data Lake查询拼花地板数据

解决方案背景：我们的设备每隔一分钟将遥测数据发送到事件中心，并将其存储为AVRO文件。对于cold path，我们计划将数据（存储3年数据所需的总存储容量为80 TB）存储到Azure data Lake Gen2中。我们将需要从这个数据存储中查询数据集，并使用过滤器、时间跨度等从我们的Web API运行查询，这些API将数据提供给Azure中的Angular Web应用程序

当数据以JSON格式存储在Azure data Lake中时，我们可以在Web API项目中使用Azure data Lake的特性，使用C#和SQL语法查询数据。但是，为了最小化存储大小并提高查询性能，建议在将数据存储到Azure data Lake时使用拼花文件格式

问题1：挑战在于，同一个.NET SDK（Azure.Storage.Files.DataLake）在查询数据时不支持拼花文件格式，或者是否支持

我还检查了“.NET中的大数据处理”，但它运行时需要安装JRE和其他组件，我能找到的唯一示例是控制台应用程序。不是将在Azure中部署的Web API

问题2：有人对此有任何想法吗

问题3：有点主观，但是否有其他方法可以使用Azure data Lake中熟悉的SQL在.NET Web API中存储和获取大数据？

您可以将其视为在.NET中查询拼花地板文件的一个选项

您还可以计算or（）。

您可以将其视为在.NET中查询拼花地板文件的一个选项

您还可以计算或（）。

这提供了如何使用SQL查询拼花地板文件。

---

这给出了如何使用SQL查询拼花地板文件。

探讨了所有这些，但没有帮助，因为我们需要从WebAPI C#project查询数据。查询加速正在工作，但似乎有一个限制，即不支持对拼花文件的查询。@SBirthare Parquet.NET应该可以工作。对于Synapse和Azure Data Explorer，你是说web API不能打开与其他服务的连接以作为查询拼花文件的方式吗？我将尝试另一种方式，但知识和经验有限，我在寻找一个我没有找到的例子。一旦我们将来自Event Hub的数据存储到DataLake中，使用流分析作为拼花格式，我们就可以使用Synapse Analytics SQL随需应变功能。ODBC驱动程序支持允许我们打开SQL连接，就像查询SQL Server数据库中的数据一样。对所有这些都进行了探索，但这并没有帮助，因为我们需要从WebAPI C#project中查询数据。查询加速正在工作，但似乎有一个限制，即不支持对拼花文件的查询。@SBirthare Parquet.NET应该可以工作。对于Synapse和Azure Data Explorer，你是说web API不能打开与其他服务的连接以作为查询拼花文件的方式吗？我将尝试另一种方式，但知识和经验有限，我在寻找一个我没有找到的例子。一旦我们将来自Event Hub的数据存储到DataLake中，使用流分析作为拼花格式，我们就可以使用Synapse Analytics SQL随需应变功能。ODBC驱动程序支持允许我们打开SQL连接，就像查询SQL Server数据库中的数据一样。最好将其作为问题的注释，而不是答案。最好将其作为问题的注释，而不是答案。