消息理论 编辑
信息论是应用数学、电子学和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据电信等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。
2
相关
微分熵是消息理论中的一个概念，是从以随机变量所计算出的夏农熵推广，以连续随机变量计算所得之熵，微分熵与随机变量所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。
在消息理论中，夏农–菲诺–以利亚码是算术编码的先导，其几率被用于决定码字。