在 AWS 上运行 TensorFlow Extended (TFX)

Gor*_*ski 5 tensorflow apache-beam tfx

我想知道是否有可能/在 AWS 中实现 TFX 管道(在真实数据集上,具有 100+ GB 数据集,而不是具有小数据集的教程)有多容易?

对于编排,我可能会使用 Kubeflow。但我认为,主要问题是为 Apache Beam 设置适当的可扩展运行程序。我正在考虑使用 Apache Flink 来实现这一点。

有谁有做经验的吗?当您需要定期使用新数据训练模型时,您会如何在 AWS 中将 TF 投入生产,是从头开始编写管道还是使用某种工具?