an1*_*que 4 csv automation etl kql azure-data-explorer
我从网页下载了不同的数据,并将其另存为 .csv 文件在本地目录中。我想将该数据推送到我在 Kusto Explorer 上创建的表中,理想情况下,我希望将此过程安排为每天自动进行,因为网站上的数据每天都会更新。
例如:
这里我有 3 个 .csv 文件:
1.csv
2.csv
3.csv
Run Code Online (Sandbox Code Playgroud)
这里我在 Kusto 上创建了 3 个表来分别存储每个 csv 数据:
Table_1
Table_2
Table_3
Run Code Online (Sandbox Code Playgroud)
问题是:是否可以自动化并安排从本地 CSV 到 Kusto 的数据推送/加载?数据推送/加载类型是目前的,但将来Replace
可能需要。Append
建议我使用 Flow ( https://preview.flow.microsoft.com/en-us/ ) 来检查是否已设置任何类似的模板。但是,我找不到任何工具,并且对这些工具很陌生,因此我需要了解这一点的人的帮助。预先非常感谢。如果您需要任何进一步的信息,请告诉我。
如果你想控制时间表:
您可以使用任何摄取客户端库来自动执行此操作:https://learn.microsoft.com/en-us/azure/kusto/api/
或者,如果您更喜欢简单地调用现成的实用程序,还有LightIngest和Kusto Ingestion Tools (KIT)
另一种方法是:
将您生成的 CSV 文件创建后上传到云存储。
为它们上传到的存储容器设置数据连接,以便上传到它的任何文件都会自动摄取到您的集群中:https ://learn.microsoft.com/en-us/azure/data-explorer/摄取数据事件网格
归档时间: |
|
查看次数: |
2290 次 |
最近记录: |