Sin*_*hus 5 .net c# azure-functions delta-lake
我正在实现一个 3 跳数据管道，将每一层数据保存为 azure 存储帐户中的增量表。目前，我使用数据工厂或函数应用程序以 json 形式摄取数据，并在 databricks 中进行所有处理。
我的问题是：是否有任何 .Net 包可以将 Azure Function App 中提取的 json 文件直接写入存储帐户增量表？
小智 2
NuGet 包是这样的：Microsoft.Spark.Extensions.Delta
它的问题在于它只是这个 Java 类的一个薄包装，并通过 IPC 套接字与其通信。换句话说，它仅适用于安装了火花发动机的机器。
将所有依赖关系树（spark、java 等）安装到基于 .NET 的 Azure Functions 实例上理论上是可行的，但不值得付出努力。用另一种语言编写 Azure 函数会容易得多。例如，这里是一个 python 示例，它将 JSON 格式的事件从 Azure 服务总线队列泵入 Delta Lake 表。可以进行相应调整以从其他地方获取数据。