加速 webgl 后端模型_warmup_的方法?

Nat*_*ova 5 warm-up webgl tensorflow.js

我有一个模型,严格要求预热时间 = 2s。现在运行速度对我们来说还可以。

我已经尝试设置

tf.env().set('WEBGL_EXP_CONV', true)
tf.env().set('WEBGL_USE_SHAPES_UNIFORMS', true) 
Run Code Online (Sandbox Code Playgroud)

我打开了并行着色器编译。但还有4s左右的时间。每个张量形状的单独着色器有助于加快运行时间,但会减慢预热过程,因为导致着色器数量增加。

是否有当前可能的改进的完整列表可供检查,我错过了什么?

我的环境 Windows + Intel 嵌入式 GPU(但 MacOS 也在目标平台之列)

小智 0

执行仅编译过程来预热 webgl 引擎:

  • tf.env().set('ENGINE_COMPILE_ONLY', true);
  • model.execute使用创建的张量运行一个tf.zeros
  • 并最后将编译设置为 false。

它是一个实验性功能,仅适用于不明确需要异步执行的模型。