气流和 Kubeflow 管道有什么区别？

Question

机器学习平台是商业中的流行语之一，以促进 ML 或深度学习的发展。

有一个通用的部分工作流协调器或工作流调度器，可帮助用户构建 DAG、调度和跟踪实验、作业和运行。

有许多机器学习平台具有工作流编排器，如Kubeflow pipeline、FBLearner Flow、Flyte

我的问题是气流和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？

并且气流支持不同语言的 API 并且拥有庞大的社区，我们可以使用气流来构建我们的 ML 工作流程吗？

Answer 1

您绝对可以使用 Airflow 来编排机器学习任务，但您可能希望与操作员远程执行 ML 任务。

例如，Dailymotion 使用 KubernetesPodOperator 为 ML 任务扩展 Airflow。

如果您没有自己设置 Kubernetes 集群的资源，您可以使用具有 Airflow 运算符的 ML 平台，例如Valohai。

在生产中进行 ML 时，理想情况下，您还希望对模型进行版本控制，以跟踪每次执行的数据、代码、参数和指标。