如何使用Azure自定义视觉服务响应boundingBox来绘制形状

Question

我正在使用Azure认知服务自定义视觉服务来检测捕获图像中的形状.根据他们的文档,我按照他们的格式得到了回复.

但是我在绘制图像上方的形状时遇到了问题.

{
    "id": "0fbda4ee-8956-4979-bf57-a252441af98d",
    "project": "9ca4032b-beeb-40ad-9396-1c3fcfd9ba89",
    "iteration": "27c85265-a158-4fc4-b22a-d535dd758d80",
    "created": "2018-06-11T09:34:29.9496528Z",
    "predictions": [
        {
            "probability": 0.0102891214,
            "tagId": "677afcf8-bc4a-493f-b588-707663286125",
            "tagName": "ball",
            "boundingBox": {
                "left": 0.2889924,
                "top": 0.0169312358,
                "width": 0.7007024,
                "height": 0.8284572
            }
        },
        {
            "probability": 0.012788726,
            "tagId": "ca844f08-b6c0-4d9a-9010-73945d442708",
            "tagName": "cricket ball",
            "boundingBox": {
                "left": 0.304018974,
                "top": 0.413163722,
                "width": 0.299461246,
                "height": 0.436399817
            }
        },
        {
            "probability": 0.0229086485,
            "tagId": "ca844f08-b6c0-4d9a-9010-73945d442708",
            "tagName": "cricket ball",
            "boundingBox": {
                "left": 0.2889924,
                "top": 0.0169312358,
                "width": 0.7007024,
                "height": 0.8284572
            }
        },
        {
            "probability": 0.0100123268,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.711509764,
                "top": 0.377838552,
                "width": 0.07217276,
                "height": 0.113578767
            }
        },
        {
            "probability": 0.0167990718,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.9821227,
                "top": 0.9500536,
                "width": 0.0115685463,
                "height": 0.033854425
            }
        },
        {
            "probability": 0.923659563,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.288039029,
                "top": 0.411838,
                "width": 0.291451037,
                "height": 0.4237842
            }
        }
    ]
}

以上是我在Custom vision API调用中得到的响应.但问题在于boundingBox.从0开始,它的值总是在一个分数中.现在,如果我想使用它并想要绘制一个正方形,那么这是不可能的,因为我不知道从该值绘制正方形/矩形背后的确切逻辑.

任何人都可以帮助我如何使用该值并使用它绘制矩形/正方形？谢谢.

Answer 1

回复/ TL; DR

这些boundingBox值以图像原始大小的百分比表示,因此您可以通过将值乘以图像宽度(对于左侧和宽度值)或图像高度(对于顶部和高度值)来绘制矩形.

请记住,位置是从左上角表示的,因此位置0,0就是这个角.

带样品的详细信息

我有一个小的定制视觉检测可乐瓶.

原始图像如下:

我使用Custom Vision门户进行预测并得到以下结果 - 让我们专注于这个突出显示的结果,得分为87.5%:

使用API​​(此处提供),我还进行了Predict操作并得到了(以及其他细节)此预测:

{
    "probability": 0.875464261,
    "tagId": "1932c95f-ed4a-4675-bde4-c2457e1389e6",
    "tagName": "CocaLight",
    "boundingBox": {
      "left": 0.453497916,
      "top": 0.0,
      "width": 0.2523211,
      "height": 0.8738168
    }
}

考虑到我的图像尺寸为800 x 652(因此ImageWidth 800,ImageHeight 652):

矩形画

左上角位置？

• x(距左边界的垂直距离)= 来自API的左值x ImageWidth => 0.453497916 x 800 = 362
• y(距顶部边界的水平距离)= 来自API的顶部值x ImageHeight => 0.0 x 652 = 0

所以我的矩形起始位置是(362,0).

尺寸？

• 矩形宽度= API x ImageWidth => 201的宽度
• 矩形高度= API的高度x ImageHeight => 569

我们来画吧!

看起来对了!