请问一个很好的信息理论介绍？

Question

我知道维基百科和麦凯的信息理论,推理和学习算法(它是否适合作为教科书？).寻求以香农的熵开始并通过条件熵和相互信息的教科书......任何想法？如果您正在大学学习这门课程,那么使用哪本课本？

谢谢.

Answer 1

我在EPFL学习计算机科学期间使用了以下教科书。IMO，它写得很好，有很好的解释，并且涵盖的内容足以介绍该领域。

信息论要素

编辑：为了进一步阅读，这里有我的教授推荐的其他一些读物。我没有读过它们（为我感到羞耻），所以我不能说它们好不好。

1. RG Gallager，信息论和可靠通信，Wiley，1968 年。
2. D. MacKay，《信息论、推理与学习算法》，剑桥大学出版社，2008 年。（您已经提到过）
3. I. Csiszar 和 J. Korner，信息论：离散无记忆系统的编码定理，Akademiai Kiado，1997 年。
4. CE Shannon，通信的数学理论