Vertex AI 管道导入自定义模块

And*_*ola 6 google-cloud-platform mlops google-cloud-vertex-ai

我正在使用 Pipelines 和组件在 Vertex AI 中开发复杂的管道。我想导入一些为此用例开发的自定义模块和函数。不幸的是,我无法弄清楚如何在不创建临时 Docker 映像或不在 PyPi 等公共存储库上发布我的代码的情况下在代码中导入这些自定义函数。

在每个组件中粘贴这些自定义函数的代码有两个痛点:

  1. 代码变得庞大且难以阅读
  2. 该函数的代码完全失去了可维护性,因为在每个小的更改中,我都必须为每个组件复制它。

Mic*_* Hu 5

KFP 支持基于函数的组件,可以在通用 python 映像中运行独立函数。

  • 我明白为什么基于功能的组件没有吸引力了。在这种情况下,将所有代码包装在单个图像中并将其上传到 ArtifactRegistry 将是最简单的解决方案。然后,您可以使用不同的 python 命令创建组件规范来执行每个函数,所有函数都指向同一个图像。 (3认同)