数据流和管道之间的区别

Question

我不明白Azure数据工厂中数据流和管道之间的区别。

我已经阅读并看到 DataFlow 可以在不编写任何代码行的情况下转换数据。

但我已经做了一个管道，这是完全相同的事情。

谢谢

Answer 1

Pipeline 是一个协调器，不会转换数据。它管理一系列一个或多个活动，例如复制数据或执行存储过程。数据流是这些活动类型之一，与管道有很大不同。

数据流执行行和列级别的转换，例如解析值、计算、添加/重命名/删除列，甚至添加或删除行。在运行时，数据流在 Spark 环境中执行，而不是在数据工厂执行运行时中执行。

Pipeline 可以在没有 Data Flow 的情况下运行，但数据流不能在没有 Pipeline 的情况下运行。