最近，我在运行推理服务器时遇到了 triton 服务配置文件禁用标志“--strict-model-config=false”的解决方案。这将允许在从模型存储库加载模型时创建自己的配置文件。
sudo docker run --rm --net=host -p 8000:8000 -p 8001:8001 -p 8002:8002 \
-v /home/rajesh/custom_repository:/models nvcr.io/nvidia/tritonserver:22.06-py3 \
tritonserver --model-repository=/models --strict-model-config=false
我想从 Triton 推理服务器获取生成的配置文件，因为我们可以使用批处理配置和其他参数。有没有办法获取我在服务器中加载的模型的内置生成的 config.pbtxt 文件，以便我可以调整批量大小和其他参数。
我正在尝试将我们的应用程序代码从 Jenkins 迁移到 Gitlab。在这里，我想尝试一下特定于分支的变量。例如：1) 主分支代码将部署到生产环境 2) 其他分支代码可以部署在非生产环境中。
在 Jenkins 中，变量是根据它们创建的不同管道设置的。我怎样才能通过使用 gitlab 变量功能来做同样的事情。
我需要这样的东西。
主分支的 AWS_KEY 变量应设置为“XXX”，非主分支的 AWS_KEY 变量应设置为“YYY”。我想在 gitlab UI 本身中配置相同的内容（这样我就可以屏蔽 GITLAB 中的值）。
variables:
aws_credentials: $AWS_KEY
上面的代码片段将在我的存储库的 gitlab-ci.yml 文件中使用。AWS_KEY 值应根据分支名称更改。