解释"信息论"的实用方法

Question

信息理论在存在编码和解码的地方发挥作用.例如:压缩(多媒体),加密.

在信息理论中,我们遇到诸如"熵","自我信息","相互信息"之类的术语,整个主题基于这些术语.这听起来只不过是抽象的.坦率地说,他们没有任何意义.

是否有任何书籍/材料/解释(如果可以的话)以实用的方式解释这些事情？

编辑:

信息理论导论:约翰罗宾逊皮尔斯的符号,信号和噪音是本书,以我想要的方式(实际上)解释它.太好了.我开始读它了.

Answer 1

Shanon的原始论文"交流的数学理论 "是研究这一理论的一个非常重要的资源.没有人会想念它.

通过阅读,你将理解Shanon如何得出应该清除大部分疑虑的理论.

同时研究霍夫曼压缩算法的工作原理将非常有帮助.

编辑:

信息论概论

约翰R.皮尔斯

根据亚马逊的评论似乎很好(我还没试过).

[通过谷歌"信息理论外行"]

Answer 2

我对"信息论"的看法是,它本质上只是应用数学/统计学,但因为它被应用于通信/信号,所以它被称为"信息论".

开始理解概念的最好方法是为自己设定一个真正的任务.比如说你把你最喜欢的博客的几页保存为文本文件,然后尝试减小文件的大小,同时确保你仍然可以完全重建文件(即无损压缩).你将开始例如替换所有的实例和例如1 ....

我总是认为从实践中学习将是最好的方法