在这种情况下,熵意味着什么？

Question

我正在阅读一个图像分割纸,其中使用范式"信号分离"来解决问题,即信号(在这种情况下,图像)由几个信号(图像中的对象)以及噪声组成的想法,任务是分离信号(分割图像).

算法的输出是一个矩阵, $S\in R ^ {MxT}$ 它表示将图像分割成M个分量.T是图像中的总像素数, $S_ {} IJ$ 是像素j处的源分量(/ signal/object)i的值

在我正在阅读的论文中,作者希望选择一个组件m $m\in [1,M]$ 它符合某些平滑度和熵标准.但我在这种情况下无法理解熵是什么.

熵定义如下:

他们说''' ${P_N(S_M)} _ {N = 1} ^ {256}$ 是与直方图的区间相关的概率 ""

目标成分是肿瘤,论文写着:"肿瘤相关成分 "几乎"常数值预计具有最低的熵值."

但在这种情况下,低熵意味着什么呢？每个bin代表什么？具有低熵的矢量看起来像什么？

Answer 1

他们在谈论香农的熵.查看熵的一种方式是将其与关于与给定概率分布相关联的事件的不确定性量相关联.熵可以作为"无序"的衡量标准.随着无序程度的提高,熵增加,事件变得不那么可预测.

回到论文中的熵定义:

H(s_m)是随机变量s_m的熵.这里是结果s_m发生的概率.m是所有可能的结果.使用灰度级直方图计算概率密度p_n,这是总和从1到256的原因.区间表示可能的状态.

那么这是什么意思？在图像处理中,熵可以用于对纹理进行分类,某些纹理可能具有某种熵,因为某些图案以近似某些方式重复自身.在本文的背景下,低熵(H(s_m)意味着低无序,组分内的低方差m.具有低熵的组分比具有高熵的组分更均匀,它们与平滑性标准结合使用以进行分类组件.

查看熵的另一种方法是将其视为信息内容的度量.具有相对"低"熵的向量是具有相对低信息含量的向量.它可能是[0 1 0 1 1 1 0].具有相对"高"熵的向量是具有相对高信息含量的向量.它可能是[0 242 124 222 149 13].

这是一个迷人而复杂的主题,实际上无法在一篇文章中进行总结.