Dropout是Google提出的一种正则化技术，用以在人工神经网络中对抗过拟合。Dropout有效的原因，是它能够避免在训练集上产生复杂的相互适应。Dropout这个术语代指在神经网络中丢弃部分神经元。在训练阶段，dropout使得每次只有部分网络结构得到更新，因而是一种高效的神经网络模型平均化的方法。
吉洪诺夫正则化以安德烈·尼古拉耶维奇·吉洪诺夫命名，为适定性问题的正则化中最常见的方法。在统计学中，本方法被称为脊回归或岭回归；在机器学习领域则称为权重衰减或权值衰减。因为有不同的数学家独立发现此方法，此方法又称做吉洪诺夫－米勒法、菲利浦斯－图米法、受限线性反演，或线性正规化。此方法亦和用在非线性最小二乘法的莱文贝格－马夸特方法相关。
在机器学习中，提前停止是一种在使用诸如梯度下降之类的迭代优化方法时，可对抗过拟合的正则化方法。这些迭代优化方法在每轮迭代过程中，都会使得模型更好地与训练集拟合。在某个节点之前，更好地拟合训练集使得模型在训练集之外的数据上表现得更好；但在该节点之后，更好地拟合训练集会增大泛化误差。提前停止相关规则给出停止迭代的条件，以便在模型开始过拟合之前停止迭代优化。提前停止相关规则已被用于多种机器学习方法。
Mini wiki
