Dropout是Google提出的一种正则化技术,用以在人工神经网络中对抗过拟合。Dropout有效的原因,是它能够避免在训练集上产生复杂的相互适应。Dropout这个术语代指在神经网络中丢弃部分神经元。在训练阶段,dropout使得每次只有部分网络结构得到更新,因而是一种高效的神经网络模型平均化的方法。
在机器学习中,提前停止是一种在使用诸如梯度下降之类的迭代优化方法时,可对抗过拟合的正则化方法。这些迭代优化方法在每轮迭代过程中,都会使得模型更好地与训练集拟合。在某个节点之前,更好地拟合训练集使得模型在训练集之外的数据上表现得更好;但在该节点之后,更好地拟合训练集会增大泛化误差。提前停止相关规则给出停止迭代的条件,以便在模型开始过拟合之前停止迭代优化。提前停止相关规则已被用于多种机器学习方法。