Google ML Kit 的自拍分割效果不佳

Question

我正在使用 Google ML Kit 进行自拍分割（https://developers.google.com/ml-kit/vision/selfie-segmentation）。然而，我得到的输出非常差 -

初始图像：

带叠加的分割图像：观察该女性的头发如何标记为粉红色，以及健身器材和她腿部附近的周围区域如何标记为非粉红色。甚至她的手也被标记为粉红色（意味着它是背景）。

当它叠加在另一张图像上以创建背景去除效果时，看起来很糟糕

ML Kit 返回的分割掩模对于上述所有非粉色区域的置信度均为 1.0，这意味着绝对可以肯定非粉色区域是人的一部分！

我在几张图片中看到了这一点，而不仅仅是这张图片。事实上，图像分割器的性能（置信度）相当差。

问题是 - 有没有办法改进它，也许通过提供不同/更好的模型？如果我使用 PixelLib 之类的东西，分割效果会更好，尽管该库的性能延迟不低，因此无法在移动设备上运行。

任何有关此的指示/帮助将不胜感激。

Answer 1

期望基于 CPU 的轻量级实时自拍模型能够为相当复杂且棘手的场景（姿势、背景的黑色和服装）提供准确的分割结果可能过于乐观。

官方示例强调了复杂环境可能会成为问题的事实。

处理场景的唯一“简单”方法是使用深度估计。刚刚用一个相当复杂的模型做了一个快速测试：

结果距离可用（至少以完全自动化的方式）还很远。还有其他几种选择：

• 创建一个更面向运动的自定义模型，并在适当的数据集上进行训练
• 使用较重的型号（现代手机功能相当强大）
• 使用一些可靠的姿势估计来确保特定场景兼容自拍