自动化:将数据从本地CSV推送到Kusto db表

自动化:将数据从本地CSV推送到Kusto db表,csv,automation,etl,azure-data-explorer,kql,Csv,Automation,Etl,Azure Data Explorer,Kql,我从网页下载了不同的数据,并将其保存为本地目录中的.csv文件。我想将这些数据推送到我在Kusto Explorer上创建的表中,理想情况下,我希望这个过程每天自动进行,因为来自网站的数据每天都会更新 例如: 这里我有3个.csv文件: 1.csv 2.csv 3.csv 我在Kusto上创建了3个表,分别存储每个csv数据: Table_1 Table_2 Table_3 问题是:是否可以自动化并计划从本地CSV到Kusto的数据推送/加载?数据推送/加载类型现在是Replace,但将来可

我从网页下载了不同的数据,并将其保存为本地目录中的.csv文件。我想将这些数据推送到我在Kusto Explorer上创建的表中,理想情况下,我希望这个过程每天自动进行,因为来自网站的数据每天都会更新

例如:

这里我有3个.csv文件:

1.csv
2.csv
3.csv
我在Kusto上创建了3个表,分别存储每个csv数据:

Table_1
Table_2
Table_3
问题是:是否可以自动化并计划从本地CSV到Kusto的数据推送/加载?数据推送/加载类型现在是
Replace
,但将来可能需要是
Append


建议我使用Flow()检查是否已经设置了任何类似的模板。然而,我找不到任何工具,而且我对这些工具还不熟悉,所以我需要了解这一点的人的帮助。非常感谢。如果你需要进一步的信息,请告诉我

如果要控制日程安排:

  • 您可以使用任何摄取客户端库来自动执行此操作:

  • 或者,如果您更喜欢简单地调用一个现成的实用程序,还有

另一种办法是:

  • 创建CSV文件后,将其上载到云存储

  • 为其上载到的存储容器设置数据连接,以便将上载到该容器的任何文件自动接收到群集中:


  • 谢谢你,Yoni!我使用python和azure kusto库将数据摄取到kusto,这是您第一个建议的一部分。我已成功地将数据推送到测试表中。(参考:)然而,到目前为止,我发现的一个缺点是数据总是被追加,而不是被替换。另外,这个python脚本不能完全自动化,因为它每次都会要求一个身份验证代码。因此,我将尝试测试您的其他建议,因为我相信其中一些建议肯定会更好。1)Kusto/ADX是一种仅附加的技术。如果要替换表中的数据,需要先删除现有数据,然后接收新数据(反之亦然);2) 更复杂的技术是将新数据摄取到“临时”表中,然后使用
    .rename tables
    命令交换两个表(然后删除不再相关的表);3) python库支持AAD应用程序身份验证,它允许在非交互式/无人参与模式下运行。我在python代码中添加了
    。如果存在,请删除表
    。在我的python代码中创建表
    ,这样现在就可以实现数据替换。现在我正在写第(3)部分。谢谢你的帮助!