信息瓶颈 编辑
信息瓶颈是信息论中的一种方法，由纳夫塔利·泰斯比、费尔南多·佩雷拉与威廉·比亚莱克于1999年提出。对于一随机变量



X


{\displaystyle X}

，假设已知其与观察变量



Y


{\displaystyle Y}

之间的联合概率分布



p



{\displaystyle p}

。此时，当需要概括



X


{\displaystyle X}

时，可以通过信息瓶颈方法来分析如何最优化地平衡准确度与复杂度。该方法的应用还包括分布聚类与降维等。此外，信息瓶颈也被用于分析深度学习的过程。
1