使用 numpy 和/或 cv2 在深度图中找到最暗的区域

Question

我试图在由视频生成的一系列深度图图像中始终如一地找到最暗的区域。深度图是使用此处的 PyTorch 实现生成的

他们的示例运行脚本生成与输入大小相同的预测，其中每个像素都是浮点值，最高/最亮的值最接近。使用 ConvNets 的标准深度估计。

然后将深度预测归一化如下以制作 png 以供审查

bits = 2
depth_min = prediction.min() 
depth_max = prediction.max()

max_val = (2**(8*bits))-1

out = max_val * (prediction - depth_min) / (depth_max - depth_min)

我试图识别视频中每个图像中最暗的区域，并假设该区域具有最多的“开放空间”。

我尝试了几种方法：

• cv2 模板匹配

使用cv2模板匹配，minMaxLoc我创建了一个 np.zeros(100,100) 的模板，然后应用了类似于文档的模板

img2 = out.copy().astype("uint8")
template = np.zeros((100, 100)).astype("uint8")
w, h = template.shape[::-1]

res = cv2.matchTemplate(img2,template,cv2.TM_SQDIFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)
top_left = min_loc
bottom_right = (top_left[0] + w, top_left[1] + h)

val = out.max()
cv2.rectangle(out,top_left, bottom_right, int(val) , 2)

如您所见，这种实现与许多误报非常不一致

• np.argmin

使用np.argmin(out, axis=1)which 生成许多索引。我取前两个，并MIN在这些坐标处写下单词

text = "MIN"
textsize = cv2.getTextSize(text, font, 1, 2)[0] 
textX, textY = np.argmin(prediction, axis=1)[:2]
cv2.putText(out, text, (textX, textY), font, 1, (int(917*max_val), int(917*max_val), int(917*max_val)), 2)

这不那么不一致，但仍然缺乏

• np.argwhere

使用np.argwhere(prediction == np.min(preditcion)然后MIN在coordanites 上写下这个词。我想象这会给我图像上最暗的像素，但事实并非如此

我还想过用50x50的内核运行卷积操作，然后取最小值的区域作为最暗的区域

我的问题是为什么会出现不一致和误报。我该如何解决？直觉上，这似乎是一件非常简单的事情。

更新 感谢汉斯的想法。请按照此链接下载 png 格式的输出深度。

Answer 1

最小值不是单个点，而是通常更大的区域。argmin找到该区域的第一个 x 和 y（左上角）：

如果最小值多次出现，则返回与第一次出现相对应的索引。

你需要的是这个最小区域的中心。您可以使用 找到它moments。有时您有多个最小区域，例如在frame107.png. 在这种情况下，我们通过找到面积最大的轮廓来取最大的轮廓。

我们仍然有一些跳跃标记，因为有时您有一个最小的小区域，例如在 中frame25.png。因此，我们使用最小面积阈值min_area，即我们不使用绝对最小区域，而是使用大于或等于该阈值的所有区域中具有最小值的区域。

import numpy as np
import cv2
import glob

min_area = 500

for file in glob.glob("*.png"):
    img = cv2.imread(file, cv2.IMREAD_GRAYSCALE)
    for i in range(img.min(), 255):
        if np.count_nonzero(img==i) >= min_area:
            b = np.where(img==i, 1, 0).astype(np.uint8)
            break
    contours,_ = cv2.findContours(b, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_NONE)
    max_contour = max(contours, key=cv2.contourArea)
    m = cv2.moments(max_contour)
    x = int(m["m10"] / m["m00"])
    y = int(m["m01"] / m["m00"])
    out = cv2.circle(img, (x,y), 10, 255, 2 )
    cv2.imwrite(file,out)

frame107有五个区域，其中图像0以增强的伽马显示：

frame25对于非常小的最小区域（红色箭头），我们采用第五大最小区域（白色圆圈）：

结果（对于min_area=500）在某些地方仍然有点不稳定，但如果进一步增加，min_area对于具有非常陡峭下降（因此每个值较小）黑暗区域的帧，您将得到错误结果。也许你可以使用时间轴（帧数）来过滤掉最暗区域位置在3帧内来回跳跃的帧。