Azure物联网数据仓库更新

我正在为我的BI项目构建Azure IoT解决方案。目前，我有一个应用程序，它在每个设置的时间窗口向Azure blob存储发送一次.csv blob，名称中包含增量数字。因此，一段时间后，我的存储文件中会有诸如“data1.csv”、“data2.csv”、“data3.csv”等

现在，我需要将这些数据加载到一个数据库中，该数据库将使用Azure Stream Analytics作业作为我的仓库。问题可能是.CSV文件将有重叠的数据。它们将每4小时发送一次，并包含过去24小时的数据。我需要始终只读取最后一个文件（数字最高），并准备查找，以便它正确更新仓库中的数据。使流分析只读最新文件和更新数据库中记录的最佳方法是什么

编辑：

---

澄清一下——我完全知道ASA不能胜任ETL工作。我的问题是，对于我的案例，使用物联网工具的最佳方法是什么？我建议以下两种方法之一：

• 使用ASA写入临时SQL表，并使用SQL触发器 使用diff更新DW的主表
• 或通过添加唯一约束来删除重复项，如下所述：

谢谢，

---

JS-Azure Stream Analytics

我建议以下两种方法之一：

• 使用ASA写入临时SQL表，并使用SQL触发器 使用diff更新DW的主表
• 或通过添加唯一约束来删除重复项，如下所述：

谢谢，

---

JS-Azure Stream Analytics

AFAIK ASA用于流数据，不能在该“流”中倒带或转发，因此无法解决重叠问题。也许Azure数据工厂是一个更好的解决方案。或者将.csv文件存储在Azure Data Lake store中，并使用Azure Data Lake Analytics创建转换数据的作业。AFAIK ASA用于流式数据，不能在该“流”中倒带或转发，因此无法解决重叠问题。也许Azure数据工厂是一个更好的解决方案。或者将.csv文件存储在Azure Data Lake store中，并使用Azure Data Lake Analytics创建转换数据的作业。