相关疑难解决方法(0)

使用tf.Estimator创建的tensorflow上的图优化

背景:

我有一个基于tf.estimator.DNNClassifier的简单分类,它通过intent标签获取文本和输出概率.我能够训练将模型输出到可服务的以及使用tensorflow服务服务于服务.问题是这个可服务性太大(大约1GB),因此我想尝试一些张量流图变换来尝试减少所服务文件的大小.

问题:

我理解如何saved_model.pb使用和使用freeze_model.py来创建一个.pb可用于调用转换的新文件.这些转换的结果(.pb文件也是如此)不可用,不能与tensorflow服务一起使用.

开发者如何来自:

saved model -> graph transforms -> back to a servable
Run Code Online (Sandbox Code Playgroud)

文档表明这肯定是可能的,但从文档到关于如何做到这一点并不直观.

我试过的:

import tensorflow as tf

from tensorflow.saved_model import simple_save
from tensorflow.saved_model import signature_constants
from tensorflow.saved_model import tag_constants
from tensorflow.tools.graph_transforms import TransformGraph


with tf.Session(graph=tf.Graph()) as sess_meta:
    meta_graph_def = tf.saved_model.loader.load(
        sess_meta,
        [tag_constants.SERVING],
        "/model/path")

    graph_def = meta_graph_def.graph_def

    other_graph_def = TransformGraph(
        graph_def,
        ["Placeholder"],
        ["dnn/head/predictions/probabilities"],
        ["quantize_weights"])


    with tf.Graph().as_default(): …
Run Code Online (Sandbox Code Playgroud)

python tensorflow tensorflow-serving tensorflow-estimator

13
推荐指数
2
解决办法
727
查看次数