小编Saj*_*hil的帖子

我正在尝试使用 TensorRT C++ API 从 ONNX 模型创建一个tensorrt 引擎。我已经根据文档编写了代码来读取、序列化张量引擎并将其写入磁盘。我已经使用debian 安装说明在 colab 上安装了tensorrt7 。

这是我正在编译的 C++ 代码g++ rnxt.cpp -o rnxt

#include <cuda_runtime_api.h>
#include <NvOnnxParser.h>
#include <NvInfer.h>

#include <cstdlib>
#include <fstream>
#include <iostream>
#include <sstream>
#include <iterator>
#include <algorithm>

class Logger : public nvinfer1::ILogger           
 {
     void log(Severity severity, const char* msg) override
     {
         // suppress info-level messages
         if (severity != Severity::kINFO)
             std::cout << msg << std::endl;
     }
 } gLogger;


int main(){

    int maxBatchSize = 32;

    nvinfer1::IBuilder* builder = …