如何使用 TensorFlow Lite 进行批处理？

Question

我有一个自定义 CNN 模型，我已将其转换为 .tflite 格式并将其部署在我的 Android 应用程序上。但是，我无法弄清楚如何在使用 tensorflow lite 进行推理时进行批处理。

从这个 Google doc看来，您必须设置模型的输入格式。但是，本文档使用的是带有 Firebase API 的代码示例，我不打算使用它。

更具体：

我想一次推断多个 100x100x3 图像，因此输入大小为N x100x100x3。

题：

如何使用 TF lite 做到这一点？

Answer 1

您可以只调用resizeInputAPI (Java) 或ResizeInputTensorAPI（如果您使用的是 C++）。

例如，在 Java 中：

interpreter.resizeInput(tensor_index, [num_batch, 100, 100, 3]);

如果您在 TensorFlow lite 中遇到批处理问题，请告诉我们。