wuh*_*y08 8 quantization tensorflow tensorflow-lite
我正在尝试将训练有素的模型从检查点文件转换为tflite. 我正在使用tf.lite.LiteConverter. 浮点转换顺利进行，推理速度合理。但是INT8转换的推理速度很慢。我试图通过输入一个非常小的网络来调试。我发现 INT8 模型的推理速度通常比浮点模型慢。
在 INT8 tflite 文件中，我发现了一些叫做 ReadVariableOp 的张量，在 TensorFlow 的官方 mobilenet tflite 模型中并不存在。
我想知道是什么导致了 INT8 推理的缓慢。
小智 2
您可能使用的是 x86 cpu，而不是带有 arm 指令的 cpu。您可以在这里参考https://github.com/tensorflow/tensorflow/issues/21698#issuecomment-414764709
| 归档时间： |
|
| 查看次数： |
898 次 |
| 最近记录： |