计算机视觉的统计帮助

Question

我正在做计算机视觉领域的毕业项目，我只选修了一门讨论非常基本概念的统计学课程，现在我在相当高级的主题上面临更多困难，所以我需要帮助（书籍、教程、课程, ..etc) 掌握和回顾统计学中的基本思想和概念，然后深入研究计算机视觉中使用的细节（统计细节）。

Answer 1

您可以使用此混淆矩阵 PyTorch 示例计算误报/漏报等：

import torch


def confusion(prediction, truth):
    """ Returns the confusion matrix for the values in the `prediction` and `truth`
    tensors, i.e. the amount of positions where the values of `prediction`
    and `truth` are
    - 1 and 1 (True Positive)
    - 1 and 0 (False Positive)
    - 0 and 0 (True Negative)
    - 0 and 1 (False Negative)
    """

    confusion_vector = prediction / truth
    # Element-wise division of the 2 tensors returns a new tensor which holds a
    # unique value for each case:
    #   1     where prediction and truth are 1 (True Positive)
    #   inf   where prediction is 1 and truth is 0 (False Positive)
    #   nan   where prediction and truth are 0 (True Negative)
    #   0     where prediction is 0 and truth is 1 (False Negative)

    true_positives = torch.sum(confusion_vector == 1).item()
    false_positives = torch.sum(confusion_vector == float('inf')).item()
    true_negatives = torch.sum(torch.isnan(confusion_vector)).item()
    false_negatives = torch.sum(confusion_vector == 0).item()

    return true_positives, false_positives, true_negatives, false_negatives

您可以使用 nn.BCEWithLogitsLoss （因此删除 sigmoid）并设置 pos_weight > 1 以增加召回率。或者使用Dice Coefficients来进一步优化它来惩罚模型的误报，例如：

def Dice(y_true, y_pred):
    """Returns Dice Similarity Coefficient for ground truth and predicted masks."""
    #print(y_true.dtype)
    #print(y_pred.dtype)
    y_true = np.squeeze(y_true)/255
    y_pred = np.squeeze(y_pred)/255
    y_true.astype('bool')
    y_pred.astype('bool')
    intersection = np.logical_and(y_true, y_pred).sum()
    return ((2. * intersection.sum()) + 1.) / (y_true.sum() + y_pred.sum() + 1.)

IOU计算解释

1. 计算真阳性 (TP)
2. 计数误报 (FP)
3. 计数假阴性 (FN)
4. 交点 = TP
5. 联合 = TP + FP + FN
6. IOU = 交集/联合

左侧是我们的基本事实，而右侧包含我们的预测。左侧突出显示的单元格说明我们正在查看右侧的统计数据的类别。右侧的突出显示奶油色为真阳性，橙色为假阳性，黄色为假阴性（注意所有其他为真阴性——它们被预测为这个单独的类别，不应基于基本事实）。

对于 0 类，只有 4x4 矩阵的顶行应该被预测为零。这是真实基本事实的相当简化的版本。实际上，零点可以在矩阵中的任何位置。在右侧，我们看到 1,0,0,0，这意味着第一个是假阴性，但其他三个是真阳性（也就是 Intersection 的 3）。从那里，我们需要找到错误预测为零的其他任何地方，我们注意到在第二行发生一次，在第四行发生两次，总共三个误报。为了得到并集，我们将 TP (3)、FP (3) 和 FN (1) 相加得到七。因此，此类的 IOU 为 3/7。

如果我们对所有类都这样做并平均 IOU，我们得到：

Mean IOU = [(3/7) + (2/6) + (3/4) + (1/6)] / 4 = 0.420

您还需要了解如何提取mAP（平均平均精度）的统计数据：

1. https://www.youtube.com/watch?v=pM6DJ0ZZee0
2. https://towardsdatascience.com/breakdown-mean-average-precision-map-ae462f623a52#1a59
3. https://medium.com/@hfdtsinghua/calculate-mean-average-precision-map-for-multi-label-classification-b082679d31be

计算协方差矩阵

变量的方差描述了值的分布程度。协方差是一种衡量两个变量之间依赖程度的度量。

正协方差意味着当第二个变量的值也很大时，第一个变量的值也很大。负协方差意味着相反：一个变量的大值与另一个变量的小值相关联。

协方差值取决于变量的尺度，因此很难对其进行分析。可以使用更容易解释的相关系数。相关系数只是归一化的协方差。

正协方差意味着一个变量的大值与另一个（左）的大值相关联。负协方差意味着一个变量的大值与另一个（右）的小值相关联。协方差矩阵是一个汇总一组向量的方差和协方差的矩阵，它可以说明很多关于变量的信息。对角线对应每个向量的方差：

矩阵 A 及其协方差矩阵。对角线对应于每个列向量的方差。让我们检查一下方差的公式：

向量的长度为 n，x? 向量的均值。例如，A 的第一列向量的方差为：

这是协方差矩阵的第一个单元格。对角线上的第二个元素对应于 A 的第二列向量的方差，依此类推。

注意：从矩阵 A 中提取的向量对应于 A 的列。

其他单元格对应来自A的两个列向量之间的协方差。例如，第一列和第三列之间的协方差位于协方差矩阵中为第1列和第3行（或第3列和第1行） ：

协方差矩阵中的位置。列对应于第一个变量，行对应于第二个（或相反）。A 的第一列和第三列向量之间的协方差是第 1 列和第 3 行中的元素（或相反 = 相同值）。

让我们检查 A 的第一列和第三列向量之间的协方差是否等于 -2.67。两个变量 X 和 Y 之间的协方差公式为：

变量 X 和 Y 是最后一个示例中的第一列和第三列向量。让我们拆分这个公式以确保它非常清晰：

1. 和符号 (?) 表示我们将迭代向量的元素。我们将从第一个元素 (i=1) 开始，计算 X 的第一个元素减去向量 X 的平均值：

2. 将结果与 Y 的第一个元素减去向量 Y 的均值相乘：

3. 重复向量的每个元素的过程并计算所有结果的总和：

4. 除以向量中的元素数。

示例 - 让我们从矩阵 A 开始：

我们将计算第一列向量和第三列向量之间的协方差： 和

哪个是 x?=3, ?=4, and n=3 所以我们有：

代码示例 -

使用 NumPy，可以使用函数 np.cov 计算协方差矩阵。

值得注意的是，如果您希望 NumPy 将列用作向量，则必须使用参数 rowvar=False。此外，bias=True 除以 n 而不是除以 n-1。

让我们先创建数组：

import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

A = np.array([[1, 3, 5], [5, 4, 1], [3, 8, 6]])

现在我们将使用 NumPy 函数计算协方差：

np.cov(A, rowvar=False, bias=True)

用点积求协方差矩阵

还有另一种方法来计算 A 的协方差矩阵。您可以将 A 以 0 为中心。从向量的每个元素中减去向量的均值，得到一个均值等于 0 的向量。它与它自己的转置相乘，并除以观察次数。

让我们从一个实现开始，然后我们将尝试理解与前面等式的联系：

def calculateCovariance(X):
    meanX = np.mean(X, axis = 0)
    lenX = X.shape[0]
    X = X - meanX
    covariance = X.T.dot(X)/lenX
    return covariance

print(calculateCovariance(A))

输出：

array([[ 2.66666667, 0.66666667, -2.66666667],
       [ 0.66666667, 4.66666667, 2.33333333],
       [-2.66666667, 2.33333333, 4.66666667]])

两个向量之间的点积可以表示为：

它是向量的每个元素的乘积之和：

如果我们有一个矩阵 A，则 A 与其转置之间的点积将为您提供一个新矩阵：

可视化数据和协方差矩阵

为了更深入地了解协方差矩阵及其用途，我们将创建一个函数来将其与 2D 数据一起可视化。您将能够看到协方差矩阵和数据之间的联系。

这个函数将计算我们上面看到的协方差矩阵。它将创建两个子图？一个用于协方差矩阵，一个用于数据。Seaborn 的 heatmap() 函数用于创建颜色渐变？—？小值将被着色为浅绿色，大值将被着色为深蓝色。我们选择了其中一种调色板颜色，但您可能更喜欢其他颜色。数据表示为散点图。

def plotDataAndCov(data):
ACov = np.cov(data, rowvar=False, bias=True)
print 'Covariance matrix:\n', ACov

fig, ax = plt.subplots(nrows=1, ncols=2)
fig.set_size_inches(10, 10)

ax0 = plt.subplot(2, 2, 1)

# Choosing the colors
cmap = sns.color_palette("GnBu", 10)
sns.heatmap(ACov, cmap=cmap, vmin=0)

ax1 = plt.subplot(2, 2, 2)

# data can include the colors
if data.shape[1]==3:
    c=data[:,2]
else:
    c="#0A98BE"
ax1.scatter(data[:,0], data[:,1], c=c, s=40)

# Remove the top and right axes from the data plot
ax1.spines['right'].set_visible(False)
ax1.spines['top'].set_visible(False)

不相关的数据

现在我们有了 plot 函数，我们将生成一些随机数据来可视化协方差矩阵可以告诉我们的信息。我们将从使用 NumPy 函数 np.random.normal() 从正态分布中提取的一些数据开始。

该函数需要将分布的均值、标准差和观测次数作为输入。我们将创建两个标准差为 1 的 300 个观测值的随机变量。第一个的平均值为 1，第二个的平均值为 2。如果我们从正态分布中随机抽取两组 300 个观测值，两个向量都将是不相关。

np.random.seed(1234)
a1 = np.random.normal(2, 1, 300)
a2 = np.random.normal(1, 1, 300)
A = np.array([a1, a2]).T
A.shape

注 1：我们用 .T 转置数据，因为原始形状是 (2, 300)，我们希望观察的数量作为行（形状 (300, 2) 也是如此）。

注 2：我们使用 np.random.seed 函数来实现可重复性。下次运行单元时将使用相同的随机数。让我们检查一下数据的样子：

A[:10,:]

array([[ 2.47143516, 1.52704645],
       [ 0.80902431, 1.7111124 ],
       [ 3.43270697, 0.78245452],
       [ 1.6873481 , 3.63779121],
       [ 1.27941127, -0.74213763],
       [ 2.88716294, 0.90556519],
       [ 2.85958841, 2.43118375],
       [ 1.3634765 , 1.59275845],
       [ 2.01569637, 1.1702969 ],
       [-0.24268495, -0.75170595]])

很好，我们有两个列向量；现在，我们可以检查分布是否正常：

sns.distplot(A[:,0], color="#53BB04")
sns.distplot(A[:,1], color="#0A98BE")
plt.show()
plt.close()

我们可以看到分布具有相同的标准差，但均值不同（1 和 2）。这正是我们所要求的。

现在我们可以用我们的函数绘制我们的数据集及其协方差矩阵：

plotDataAndCov(A)
plt.show()
plt.close()


Covariance matrix:
[[ 0.95171641 -0.0447816 ]
 [-0.0447816 0.87959853]]

我们可以在散点图上看到两个维度是不相关的。请注意，我们有一个维度的平均值为 1（y 轴），另一个维度的平均值为 2（x 轴）。

此外，协方差矩阵显示每个变量的方差非常大（大约为 1），而第 1 列和第 2 列的协方差非常小（大约为 0）。因为我们确保两个向量是独立的，所以这是相干的。相反的不一定正确：协方差为 0 并不能保证独立性。

相关数据

现在，让我们通过从另一列中指定一列来构建相关数据。

np.random.seed(1234)
b1 =  np.random.normal(3, 1, 300)
b2 = b1 + np.random.normal(7, 1, 300)/2.
B = np.array([b1, b2]).T
plotDataAndCov(B)
plt.show()
plt.close()


Covariance matrix:
[[ 0.95171641 0.92932561]
 [ 0.92932561 1.12683445]]

两个维度之间的相关性在散点图上可见。我们可以看到可以绘制一条线并用于从 x 预测 y，反之亦然。协方差矩阵不是对角线（对角线外有非零单元格）。这意味着维度之间的协方差不为零。

从这一点开始，您可以使用协方差矩阵进一步研究以下内容：

1. 均值归一化
2. 标准化或规范化
3. 美白
4. 零定心
5. 去相关
6. 重新缩放