tensorflow的对象检测api是否支持多类多标签检测？

Question

经过几个小时的研究,我找不到任何关于使用对象检测API的多标签预测的例子.基本上我想在图像中为每个实例预测多个标签.如下图所示:

我想预测服装类别,还有颜色和图案等属性.

根据我的理解,我需要为每个属性添加更多的分类头到第二阶段ROI特征图,并总结每个属性的损失？但是,我在对象检测代码中实现它有困难.有人可以给我一些关于我应该开始修改哪些功能的提示吗？谢谢.

Answer 1

根据性能要求和平台，一种方法可能是通过在管道中使用多个分类器来简化问题。例如，您可以使用多类对象检测器（示例中的“tee”和“pant”）来捕获感兴趣的区域；然后根据边界框裁剪这些区域，并将这些裁剪区域输入到另一个模型中，在这种情况下，该模型没有局部性要求（“颜色”和“图案”）。

\n

对于多类对象检测指南，我可能会推荐Tensorflow Git 存储库中的Eager Few Shot 对象检测 Colab。在“准备训练数据”单元格中注释：

\n

num_classes = 1\n\ncategory_index = {duck_class_id: {\'id\': duck_class_id, \'name\': \'rubber_ducky\'}}\n

\n

更新它可以在不改变模型的情况下实现多类检测。例如，以下将创建两个类：

\n

num_classes = 2\n\ncategory_index = {\n\xc2\xa0 \xc2\xa0 1: {\'id\': 1, \n\xc2\xa0 \xc2\xa0 \xc2\xa0 \xc2\xa0 \'name\': \'tee\'},\n\xc2\xa0 \xc2\xa0 2: {\'id\': 2, \n\xc2\xa0 \xc2\xa0 \xc2\xa0 \xc2\xa0 \'name\': \'pant\'}\n}\n

\n

然后根据此输出，将这些裁剪区域输入到另一个分类器中。

\n