如何在 C# 中使用 pytorch 模型？

Question

我有一个 NLP 中的 pytorch 模型和一个在 python 中使用它的脚本。现在我想在 C# 中使用这个脚本。我尝试从 C# 运行 python 脚本，它成功了。我在 C# 中获取用户句子，将其传递给 python，其输出在 C# 中使用。问题是我想在循环中完成这项工作，直到用户选择退出，但每次进入 python 代码时，它都必须加载 pytorch 模型及其耗时。有没有一种方法可以一次性加载模型，然后循环获取用户的输入并使用加载的模型进行推理？

Answer 1

您可以以 ONNX 格式导出模型，然后使用OpenCV DNN 模块或tensorrt进行推理。它将显着提高您的速度，并且您的整个代码都将采用 C# 语言。