我正在探索 kubeflow 管道和 Vertex AI 管道。据我了解,Vertex AI 管道是 kubeflow 管道的托管版本,因此不需要部署完整的 kubeflow 实例。从这方面来说,撇开价格不谈,Vertex AI 管道是更好的选择。但是,在 kubeflow 中,人们可以创建实验,这是我在 Vertex AI 管道中没有找到的等效项。我在文档中发现的 Vertex AI 不支持的唯一 kubeflow 功能是“缓存过期”和“递归”,但它们没有提及任何有关实验的内容。让我想知道在两者之间做出决定时是否还有其他值得考虑的差异。
google-cloud-platform kubeflow-pipelines google-cloud-ai-platform-pipelines google-ai-platform google-cloud-vertex-ai
这个问题是关于为应用程序选择运行查询的数据库类型。暂时将其他因素放在一边,考虑到 mongodb 和 elastic 之间的选择,关键标准是查询应该近乎实时地解决。查询将是临时的,因此可以包含 JSON 对象中的任何字段,并且可能包含聚合和子聚合。此外,不会有嵌套对象,并且没有任何字段将包含“描述性”文本(如电影评论等),即所有字段都将是关键字类型字段,如州、国家/地区、城市、名称等。
现在,我读到 elasticsearch 性能接近实时,并且 elasticsearch 使用倒排索引并为每个字段自动创建它们。综上所述,我的问题如下。(堆栈中发布了一个类似的问题,但我认为它没有回答我的问题 elasticsearch vs MongoDB for filtering application)
1)由于我提到的用例中的字段不包含描述性文本,因此不需要弹性提供的全文搜索功能和其他附加功能(特别是对于文本搜索),弹性和弹性之间的更好选择是什么?蒙戈?如果我要在 mongo 中的所有可用字段上创建单个字段索引,弹性搜索和 mongo 查询/聚合性能将如何比较?
2)我不熟悉高级索引,所以我假设可以在 mongo 中的所有可用字段上创建索引(使用多个单字段索引或复合索引?)。我知道这会带来存储和写入速度的成本,这对于弹性也是如此。
3)此外,在弹性中,用户可以在写入速度(索引率)与写入文档变得可用的速度(refresh_interval)之间进行权衡以进行查询。mongo 中是否有类似的功能?
mongodb indices elasticsearch mongodb-indexes elasticsearch-indices
我不清楚 Vertex AI 模型预测的定价。在文档中,在标题“更多关于预测节点的自动缩放”下提到的要点之一是:
“如果您选择自动缩放,节点数量会自动缩放,并且可以在无流量持续时间内缩小到零”
稍后文档中提供的示例似乎也表明在没有流量的时期,使用零个节点。但是,当我在 Vertex AI 中创建端点时,在“自动缩放”标题下显示:
“自动缩放:如果设置最小值和最大值,计算节点将进行缩放以满足这些边界内的流量需求”
“最小计算节点数”下的值不允许为 0,因此必须输入 1 或更大,并且提到:
默认值为 1。如果设置为 1 或更多,则即使没有流量需求,计算资源也会持续运行。这可能会增加成本,但可以避免由于节点初始化而导致请求丢失。
我的问题是,当我通过将最小值设置为 1、最大值设置为 10 来选择自动缩放时,会发生什么情况。1 个节点是否始终连续运行?或者按照文档的建议,在没有流量的情况下它会缩小到 0 个节点。
为了测试,我部署了一个具有自动缩放功能的端点(最小值和最大值设置为 1),然后当我发送预测请求时,响应几乎是立即的,表明节点已经启动。大约一个小时后,我再次这样做,再次立即得到响应,表明该节点可能永远不会关闭。另外,对于高延迟要求,是否可以自动缩放到 0 个节点(如果这确实可能,甚至是实用的),即,从 0 个节点启动时我们可以期望多少延迟?
google-cloud-platform google-ai-platform google-cloud-vertex-ai
我已将 Docker 映像推送到谷歌云中的工件存储库。当我转到谷歌云控制台 Artifact Repository 页面时,我看到以下内容:
当我单击右侧的烤肉串菜单时,我可以编辑标签,但没有看到编辑描述的选项。如何添加/编辑描述?
docker google-cloud-console google-cloud-platform google-artifact-registry
我创建了一个用于预测的自定义容器,并成功将模型上传到 Vertex AI。我还能够将模型部署到端点并成功从端点请求预测。在自定义容器代码中,我使用此处parameters
描述的字段,稍后在发出在线预测请求时提供该字段。我的问题是关于从自定义容器请求批量预测以进行预测。
我找不到任何描述我请求批量预测时会发生什么的文档。举例来说,我使用my_model.batch_predict
Python SDK 中的函数并将 设为instances_format
“csv”并提供gcs_source
. 现在,我已设置自定义容器以期望预测请求,/predict
如本文档中所述。Vertex AI 是否向此路径发出 POST 请求,将 cvs 数据转换为适当的 POST 正文?
如何parameters
像在线预测一样指定批量预测的字段?
google-cloud-platform google-ai-platform google-cloud-vertex-ai