最近，我在运行推理服务器时遇到了 triton 服务配置文件禁用标志“--strict-model-config=false”的解决方案。这将允许在从模型存储库加载模型时创建自己的配置文件。

sudo docker run --rm --net=host -p 8000:8000 -p 8001:8001 -p 8002:8002 \
-v /home/rajesh/custom_repository:/models nvcr.io/nvidia/tritonserver:22.06-py3 \
tritonserver --model-repository=/models --strict-model-config=false

我想从 Triton 推理服务器获取生成的配置文件，因为我们可以使用批处理配置和其他参数。有没有办法获取我在服务器中加载的模型的内置生成的 config.pbtxt 文件，以便我可以调整批量大小和其他参数。

下面是Triton 编译器生成的明显合法的 PTX 汇编代码。我对加载和存储指令感到困惑{ %r1 }和使用。{ %r2 }根据 PTX ISA 文档，它看起来像一个初始值设定项列表。但这没有意义。不仅因为初始化规范没有提到寄存器的使用。甚至不是因为加载/存储语义中的初始化器是无用的（没有什么可以初始化）。最重要的是，我对加载/存储中的使用将{}参数的含义从标量更改为指针立即数这一事实感到困惑。

也许，一个无聊的开发者只是想让每个人的组装体验更加混乱。有谁有更好的解释吗？

.version 7.5
.target sm_35
.address_size 64

        // .globl       E__01

.visible .entry E__01(
        .param .u64 E__01_param_0,
        .param .u64 E__01_param_1
)
.maxntid 128, 1, 1
{
        .reg .pred      %p<3>;
        .reg .b32       %r<4>;
        .reg .b64       %rd<3>;
        .loc    1 6 0
$L__func_begin0:
        .loc    1 6 0

        ld.param.u64    %rd2, [E__01_param_0];
        ld.param.u64    %rd1, [E__01_param_1];
        mov.pred        %p1, -1;
$L__tmp0:
        .loc    1 7 19
        mov.u32 %r1, 0x0; …

最近开发了一些用于运行docker容器甚至app容器的替代方案.

我知道有来自coreos(https://coreos.com/blog/rocket/)和来自joyent(https://www.joyent.com/)的triton的rkt

这两种方法相比如何？

编辑

也许我应该在@ Lakatos Gyula的这些好评之后重新提出我的问题

Triton如何比较核心或kubernetes大规模运行docker-containers？