我们可以在 linux 上运行 tensorflow lite 吗？或者它仅适用于 android 和 ios

Question

嗨，有没有可能在 linux 平台上运行 tensorflow lite？如果是，那么我们如何在 java/C++/python 中编写代码以在 linux 平台上加载和运行模型？我熟悉bazel，并成功使用tensorflow lite制作了Android和ios应用程序。

Answer 1

我认为其他答案是完全错误的。

看，我来告诉你我的经验……我在 Django 工作了很多年，我一直在使用普通的 tensorflow，但是在同一个项目中有 4 个或 5 个或更多模型时出现问题。不知道大家知不知道Gunicorn + Nginx。这会生成工人，因此如果您有 4 个机器学习模型，那么对于每个工人乘以它，如果您有 3 个工人，您将在 RAM 中预加载 12 个模型。这根本没有效率，因为如果 RAM 溢出，您的项目就会失败，或者实际上服务响应会变慢。

所以这就是 Tensorflow lite 的用武之地。从 tensorflow 模型切换到 tensorflow lite 可以改进并使事情变得更有效率。时间荒谬地减少了。此外，可以配置 Django 和 Gunicorn，以便同时预加载和编译模型。因此，每次 API 用完时，它只会生成预测，这有助于您使每个 API 调用的时间缩短到几分之一秒。目前我有一个项目在生产，有 14 个模型和 9 个工人，你可以理解 RAM 的大小。除了进行数千次额外计算之外，在机器学习之外，API 调用不会超过 2 秒。现在，如果我使用普通的 tensorflow，至少需要 4 或 5 秒。

综上所述，如果你可以使用tensorflow lite，我在Windows、MacOS和Linux中每天都在使用它，完全没有必要使用Docker。只是一个python文件，就是这样。如果您有任何疑问，可以毫无问题地问我。

这里有一个示例项目 Django + Tensorflow Lite

Answer 2

来自Tensorflow 精简版

\n\n

\n

TensorFlow Lite 是适用于移动和嵌入式设备的 TensorFlow\xe2\x80\x99s 轻量级解决方案。

\n

\n\n

Tensorflow lite 是用于嵌入式设备的 TensorFlow 的一个分支。对于 PC，只需使用原始张量流。

\n\n

来自github 张量流：

\n\n

\n

TensorFlow 是一个开源软件库

\n

\n\n

\n\n

\n

TensorFlow 提供稳定的 Python API 和 C API，但没有像 C++、Go、Java、JavaScript 和 Swift 那样的 API 向后兼容性保证。

\n

\n\n

\n\n

\n

我们支持 Linux、Mac 和 Windows 上的 CPU 和 GPU 包。

\n

\n\n

\n\n

\n

>>> import tensorflow as tf\n>>> tf.enable_eager_execution()\n>>> tf.add(1, 2)\n3\n>>> hello = tf.constant(\'Hello, TensorFlow!\')\n>>> hello.numpy()\n\'Hello, TensorFlow!\'\n

\n

\n