如何在 COCO 数据集上加载预训练模型以进行图像分割？

Question

我想对视频文件中的对象进行语义分割。我更喜欢在 COCO 数据集（或 COCO stuff 数据集）上使用预先训练的模型，并开始使用它对我自己的视频文件进行语义分割和对象检测。我遇到的大多数线程都在谈论 COCO 数据集上的训练算法。我正在寻找一个可以直接用于分割我自己的视频文件的预训练模型（一个冻结的图形文件）。

谁能指导我如何做到这一点？

PS 我可以使用来自 tensorflow model zoo 的预训练模型进行对象检测，但我无法将其扩展为对象分割。

Answer 1

我本周对从 iNaturalist.org 下载的图像进行了语义分割，结果很有希望。我最终使用的模型是 DeepLab v3 模型，它可以在存储库的 tensorflow 研究文件夹中轻松获得

• https://github.com/tensorflow/models/tree/master/research/deeplab。

请查看他们关于现成分割的优秀演示：

• https://colab.research.google.com/github/tensorflow/models/blob/master/research/deeplab/deeplab_demo.ipynb。

只需翻阅笔记本。您可以通过提供图像 url 在浏览器中实际测试它，如笔记本中所述，看看它是否满足您的需求。之后，如果您熟悉 tensorflow，那么手动下载他们的预训练模型之一应该相当容易，就像他们在演示中所做的那样，并设置在您的计算机上运行的东西。

我也找到了这篇博文

• http://blog.qure.ai/notes/semantic-segmentation-deep-learning-review ,

对当今可用的模型以及它们各自的优缺点提供非常丰富的信息

玩得开心！