Azure 数据工厂(ADF)与 Azure Functions:如何选择?

Rak*_*mar 5 azure azure-functions

目前我们正在使用 Blob 触发器 Azure Functions 将 json 数据移动到 Cosmos DB。我们计划用 Azure 数据工厂 (ADF) 管道替换 Azure Functions。我是 Azure 数据工厂(ADF)的新手,所以不确定,Azure 数据工厂(ADF)管道是否是更好的选择?

Tar*_*lha 8

虽然我的回答有点晚了,但我想补充一点,我不建议用 ADF 替换您当前的设置。原因:

  1. 它太贵了。ADF 的成本远高于 azure 函数。
  2. 自定义逻辑:ADF 不是为执行清理逻辑或任何自定义代码而构建的。它的主要目标是使用其庞大的连接器池从外部系统集成数据
  3. 延迟:ADF 由于其作业框架的大量开销而具有更高的延迟


Saj*_*ran 2

根据您的要求,Azure 数据工厂是您的完美选择。您可以按照此tutorial配置 Cosmos DB 输出和 Azure Blob 存储输入。

与 azure function 相比,您不需要编写任何自定义代码,除非涉及数据清理,并且 azure 数据工厂是推荐的选项,即使您希望 azure function 用于其他目的,您也可以将其添加到管道中。

  • 我在企业 TB 级规模上使用数据工厂 ADF 和 Functions 已经有几年了,我发现数据工厂非常擅长编排数据移动和转换任务。我不使用 ADF 进行复制活动转换之外的转换。我大量使用 Databricks 进行大规模转换。我使用函数来处理一些小事情和外部接口。t 较小时起作用,T 较大时 Databricks 起作用。ADF 成本很小。如果不仔细控制成本,功能成本“可能”会爆炸。 (2认同)