模型选择是在给定数据的情况下，在一组候选统计模型中选定最优模型的过程。在最简单的情形之下，给定数据可以是已存在的数据。不过，在复杂的情形下，模型选择也可能牵涉到实验设计，以便能够收集数据来进行模型选择。诸多候选模型的预测或解释能力相近，但根据奥卡姆剃刀原则，最简单的模型往往是最好的选择，这有助于避免过拟合。
Dropout是Google提出的一种正则化技术，用以在人工神经网络中对抗过拟合。Dropout有效的原因，是它能够避免在训练集上产生复杂的相互适应。Dropout这个术语代指在神经网络中丢弃部分神经元。在训练阶段，dropout使得每次只有部分网络结构得到更新，因而是一种高效的神经网络模型平均化的方法。
在数学与计算机科学中，尤其是在机器学习和逆问题领域中，正则化是指为解决适定性问题或过拟合而加入额外信息的过程。
在数学与计算机科学中，尤其是在机器学习和逆问题领域中，正则化是指为解决适定性问题或过拟合而加入额外信息的过程。
在机器学习中，提前停止是一种在使用诸如梯度下降之类的迭代优化方法时，可对抗过拟合的正则化方法。这些迭代优化方法在每轮迭代过程中，都会使得模型更好地与训练集拟合。在某个节点之前，更好地拟合训练集使得模型在训练集之外的数据上表现得更好；但在该节点之后，更好地拟合训练集会增大泛化误差。提前停止相关规则给出停止迭代的条件，以便在模型开始过拟合之前停止迭代优化。提前停止相关规则已被用于多种机器学习方法。
剪枝是机器学习与搜索算法当中通过移除决策树中分辨能力较弱的部分而减小决策树大小的方法。剪枝降低了模型的复杂度，因此能够降低过拟合风险，从而降低泛化误差。
Mini wiki
