在信息论中，熵是接收的每条消息中包含的信息的平均量，又被称为信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值就是这个分布产生的信息量的平均值。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。
1
格伦布编码是一种无失真资料压缩方法，由数学家所罗门·格伦布在1960年代提出。其优点为易于编码与解码，另外对于拥有几率分布为几何分布
G
,
p
=
0.5
,
{\displaystyle G,p=0.5,}
的资料，格伦布编码是最佳的前缀码，且能无限逼近该资料的熵，目前广泛用于无损数据压缩。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
在概率论和信息论中，两个随机变量的互信息度量了两个变量之间相互依赖的程度。具体来说，对于两个随机变量，MI是在获得一个随机变量的信息之后，观察另一个随机变量所获得的“信息量”。互信息的概念与随机变量的熵紧密相关，熵是信息论中的基本概念，它量化的是随机变量中所包含的“信息量”。
格伦布编码是一种无失真资料压缩方法，由数学家所罗门·格伦布在1960年代提出。其优点为易于编码与解码，另外对于拥有几率分布为几何分布
G
,
p
=
0.5
,
{\displaystyle G,p=0.5,}
的资料，格伦布编码是最佳的前缀码，且能无限逼近该资料的熵，目前广泛用于无损数据压缩。
奈特又称纳特，是信息论熵
的单位之一。以自然对数为底，而不是以2为底的对数。表达式为
Mini wiki
