通信模型：信息论建立了一个基本的通信模型，包括信息源、信道、噪声、译码器及接收者。这个模型帮助我们理解信息是如何在存在干扰的情况下传递的。
数据压缩：信息论研究如何有效地压缩数据而不丢失信息，包括无损压缩和有损压缩技术。
密码学：信息论为密码学提供了理论基础，特别是香农的保密系统模型，它说明了在理想条件下实现完全保密通信的可能性。
错误检测与纠正：信息论关注如何在通信过程中检测和纠正错误，以保证信息的完整性。
互信息：互信息是衡量两个随机变量之间相互依赖性的一个量，用于分析信息传输和共享的效果。
信息论不仅在通信领域有着广泛的应用，也对计算机科学、生物学、经济学等多个学科产生了深远的影响。
信息论在计算机科学与技术上的运用:
信息论在计算机科学中有广泛的应用，主要包括以下几个方面：
数据压缩：利用熵的概念，开发了多种数据压缩算法，如霍夫曼编码（Huffman coding）、LZ77和LZ78算法（广泛应用于gzip和deflate）以及更高级的变长编码方法。
错误检测与纠正：信息论提供了诸如海明码（Hamming code）、里德-所罗门码（Reed-Solomon code）和低密度奇偶校验码（LDPC）等纠错编码技术，这些技术在存储系统和通信系统中用来提高数据的可靠性。
密码学：香农的保密通信理论奠定了现代密码学的基础。对称加密算法（如AES）和非对称加密算法（如RSA）的设计都受到信息论的启发。
通信协议：信息论的概念被用于设计和分析网络通信协议，确保数据包的有效传输和网络的稳定性。