自动化:将数据从本地CSV推送到Kusto db表
我从网页下载了不同的数据,并将其保存为本地目录中的.csv文件。我想将这些数据推送到我在Kusto Explorer上创建的表中,理想情况下,我希望这个过程每天自动进行,因为来自网站的数据每天都会更新 例如: 这里我有3个.csv文件:自动化:将数据从本地CSV推送到Kusto db表,csv,automation,etl,azure-data-explorer,kql,Csv,Automation,Etl,Azure Data Explorer,Kql,我从网页下载了不同的数据,并将其保存为本地目录中的.csv文件。我想将这些数据推送到我在Kusto Explorer上创建的表中,理想情况下,我希望这个过程每天自动进行,因为来自网站的数据每天都会更新 例如: 这里我有3个.csv文件: 1.csv 2.csv 3.csv 我在Kusto上创建了3个表,分别存储每个csv数据: Table_1 Table_2 Table_3 问题是:是否可以自动化并计划从本地CSV到Kusto的数据推送/加载?数据推送/加载类型现在是Replace,但将来可
1.csv
2.csv
3.csv
我在Kusto上创建了3个表,分别存储每个csv数据:
Table_1
Table_2
Table_3
问题是:是否可以自动化并计划从本地CSV到Kusto的数据推送/加载?数据推送/加载类型现在是Replace
,但将来可能需要是Append
建议我使用Flow()检查是否已经设置了任何类似的模板。然而,我找不到任何工具,而且我对这些工具还不熟悉,所以我需要了解这一点的人的帮助。非常感谢。如果你需要进一步的信息,请告诉我 如果要控制日程安排:
- 您可以使用任何摄取客户端库来自动执行此操作:
- 或者,如果您更喜欢简单地调用一个现成的实用程序,还有
谢谢你,Yoni!我使用python和azure kusto库将数据摄取到kusto,这是您第一个建议的一部分。我已成功地将数据推送到测试表中。(参考:)然而,到目前为止,我发现的一个缺点是数据总是被追加,而不是被替换。另外,这个python脚本不能完全自动化,因为它每次都会要求一个身份验证代码。因此,我将尝试测试您的其他建议,因为我相信其中一些建议肯定会更好。1)Kusto/ADX是一种仅附加的技术。如果要替换表中的数据,需要先删除现有数据,然后接收新数据(反之亦然);2) 更复杂的技术是将新数据摄取到“临时”表中,然后使用
.rename tables
命令交换两个表(然后删除不再相关的表);3) python库支持AAD应用程序身份验证,它允许在非交互式/无人参与模式下运行。我在python代码中添加了。如果存在,请删除表。在我的python代码中创建表,这样现在就可以实现数据替换。现在我正在写第(3)部分。谢谢你的帮助!