在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值就是这个分布产生的信息量的平均值。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。
7
格伦布编码是一种无失真资料压缩方法，由数学家所罗门·格伦布在1960年代提出。其优点为易于编码与解码，另外对于拥有几率分布为几何分布
G
,
p
=
0.5
,
{\displaystyle G,p=0.5,}
的资料，格伦布编码是最佳的前缀码，且能无限逼近该资料的熵，目前广泛用于无损数据压缩。
赤池信息量准则是评估统计模型的复杂度和衡量统计模型“拟合”资料之优良性的一种标准，是由日本统计学家赤池弘次创立和发展的。赤池信息量准则建立在熵的概念基础上。
微分熵是消息理论中的一个概念，是从以随机变量所计算出的夏农熵推广，以连续随机变量计算所得之熵，微分熵与随机变量所计算出之夏农熵，皆可代表描述一信息所需码长的下界，然而，微分熵与夏农熵仍存在着某些相异的性质。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
是一首由美国唱作歌手鲍勃·迪伦创作的音乐作品，歌名意为“荒芜小径”，亦指他在歌曲中讲述的一处地名。歌曲录制于1965年8月4日，作为专辑终曲而收录在迪伦的第六张录音室专辑《》的末音轨中。同时，这部作品也有着长达11分21秒的歌曲时长。迪伦利用历史、故事、圣经和自创的角色，以超现实的手法，将歌词揉合、创造成一连串的小片段，形成走马灯般的蒙太奇图景，将城市在嘈杂中无序熵的活力，演绎于这首歌曲中。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
Mini wiki
