我遇到了有关 TensorRT 和 Tensorflow 的问题。我正在使用 NVIDIA jetson nano,并尝试将简单的 Tensorflow 模型转换为 TensorRT 优化模型。我使用的是tensorflow 2.1.0和python 3.6.9。我尝试使用NVIDIA 指南中的代码示例:
from tensorflow.python.compiler.tensorrt import trt_convert as trt
converter = trt.TrtGraphConverterV2(input_saved_model_dir=input_saved_model_dir)
converter.convert()
converter.save(output_saved_model_dir)
Run Code Online (Sandbox Code Playgroud)
为了测试这一点,我从tensorflow网站上获取了一个简单的例子。要将模型转换为 TensorRT 模型,我将模型保存为“savedModel”并将其加载到 trt.TrtGraphConverterV2 函数中:
#https://www.tensorflow.org/tutorials/quickstart/beginner
import tensorflow as tf
from tensorflow.python.compiler.tensorrt import trt_convert as trt
import os
#mnist = tf.keras.datasets.mnist
#(x_train, y_train), (x_test, y_test) = mnist.load_data()
#x_train, x_test = x_train / 255.0, x_test / 255.0
model = tf.keras.models.Sequential([
tf.keras.layers.Flatten(input_shape=(28, 28)),
tf.keras.layers.Dense(128, activation='relu'),
#tf.keras.layers.Dropout(0.2),
tf.keras.layers.Dense(10)
])
loss_fn = tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True)
model.compile(optimizer='adam', loss=loss_fn, metrics=['accuracy']) …Run Code Online (Sandbox Code Playgroud)