微分熵 编辑
微分熵是消息理论中的一个概念，是从以随机变量所计算出的夏农熵推广，以连续随机变量计算所得之熵，微分熵与随机变量所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。
4