二进制文件中的熵 - 目的是什么？

Question

我已经阅读了香农的熵理论以及如何为二进制文件实现这样的算法（非常简单）

但我不明白计算 .exe 或任何二进制文件的熵的目的是什么

我可以理解计算电信消息的熵（最坏的情况：每个符号都有相同的概率），但我无法了解二进制文件的用途。

有人可以向我解释一下吗？

Answer 1

假设一些信息或动力系统或分布。熵是信息/系统/分布中无序程度的度量。如果熵增加，无序也会增加。如果熵为 0，则意味着不存在无序，分布是恒定的。

将所有这些应用到文件中，我可以假设，如果文件的无序性很高，那么文件就很难压缩。具有低熵的文件（该文件中符号的主要部分一致）压缩得更好。一般来说，我认为低熵的文件会更容易处理。