如何将张量流模型保存到pickle文件

Question

我想保存 Tensorflow 模型，然后将其用于部署目的。我不想使用model.save()它来保存它，因为我的目的是以某种方式“pickle”它并在未安装tensorflow的不同系统中使用它，例如：

model = pickle.load(open(path, 'rb'))
model.predict(prediction_array)

早些时候使用 sklearn，当我 pickling KNN 模型时，它是成功的，我能够在不安装 sklearn 的情况下运行推理。

但是当我尝试 pickle 我的 Tensorflow 模型时，出现以下错误：

Traceback (most recent call last):
  File "e:/VA_nlu_addition_branch_lite/nlu_stable2/train.py", line 21, in <module>
pickle.dump(model, open('saved/model.p', 'wb'))
TypeError: can't pickle _thread.RLock objects

我的模型如下所示：

model = keras.Sequential([
            keras.Input(shape=(len(x[0]))),
            keras.layers.Dense(units=16, activation='elu'),
            keras.layers.Dense(units=8, activation='elu'),
            keras.layers.Dense(units=len(y[0]), activation='softmax'),
        ])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x, y, epochs=200, batch_size=8)
pickle.dump(model, open('saved/model.p', 'wb'))

型号总结

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
dense (Dense)                (None, 16)                1680
_________________________________________________________________
dense_1 (Dense)              (None, 8)                 136
_________________________________________________________________
dense_2 (Dense)              (None, 20)                180
=================================================================
Total params: 1,996
Trainable params: 1,996
Non-trainable params: 0

这是一个关于此问题的StackOverflow 问题，但答案中的链接已过期。

这里还有另一个类似的问题，但我不太明白。

我有一个非常简单的模型，没有检查点，没有什么复杂的，那么有没有办法将 Tensorflow 模型对象保存到二进制文件？或者即使它有多个二进制文件，我不介意，但它只是不需要使用tensoflow，如果numpy解决方案有帮助，我会使用它，但我不知道如何在这里实现它。任何帮助将不胜感激，谢谢！

Answer 1

使用joblib似乎适用于TF2.8，并且由于您有一个非常简单的模型，因此您可以在 Google Colab 上训练它，然后只需在其他系统上使用 pickled 文件：

import joblib
import tensorflow as tf

model = tf.keras.Sequential([
            tf.keras.layers.Input(shape=(5,)),
            tf.keras.layers.Dense(units=16, activation='elu'),
            tf.keras.layers.Dense(units=8, activation='elu'),
            tf.keras.layers.Dense(units=5, activation='softmax'),
        ])

model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])
x = tf.random.normal((20, 5))
y = tf.keras.utils.to_categorical(tf.random.uniform((20, 1), maxval=5, dtype=tf.int32))
model.fit(x, y, epochs=200, batch_size=8)
joblib.dump(model, 'model.pkl')

加载模型不带tf：

import joblib
import numpy as np
print(joblib.__version__)

model = joblib.load("/content/model.pkl")
print(model(np.random.random((1,5))))

1.1.0
tf.Tensor([[0.38729233 0.04049021 0.06067584 0.07901421 0.43252742]], shape=(1, 5), dtype=float32)

但在不了解您的系统规格的情况下，很难判断它是否真的那么“直接”。