ADF 管道和 ADF 数据流有什么区别?

use*_*060 3 azure-data-factory azure-data-factory-2

ADF 管道和 ADF 数据流有什么区别?为什么管道和数据流中支持的接收器/源不同?是否可以创建一个管道来从源读取数据、过滤、使用连接并将数据存储到没有数据流的接收器?请告诉我。

小智 11

管道用于流程编排。数据流用于数据转换。

在 ADF 中,数据流使用 Azure 中的数据(blob、adls、SQL、synapse、cosmosdb)在 Spark 上构建。

管道中的连接器用于复制数据和作业编排。那里有 90 多个连接器,可以跨越本地和其他云。

我们一直在逐步向数据流添加更多连接器。

  • Databricks 中相同的工作负载似乎比 ADF 数据流的成本更低。我在两个系统中应用简单的转换(清理数据),但 ADF DF 总是最终花费更多。 (3认同)