集成学习 编辑
在统计学和机器学习中，集成学习方法使用多种学习算法来获得比单独使用任何单独的学习算法更好的预测性能。不像统计力学中的系综通常是无限的，机器学习集合仅由一组具体的有限的可替代模型组成，但通常允许在这些可替代方案中存在更灵活的结构。
1
相关
提升方法是一种机器学习中的集成学习元启发算法，主要用来减小监督式学习中偏差并且也减小方差，以及一系列将弱学习器转换为强学习器的机器学习算法。面对的问题是迈可·肯斯和莱斯利·瓦利安特提出的：一组“弱学习者”的集合能否生成一个“强学习者”？弱学习者一般是指一个分类器，它的结果只比随机分类好一点点；强学习者指分类器的结果非常接近真值。
梯度提升是一种用于回归分析和统计分类问题的机器学习技术，其产生的预测模型是弱预测模型的集成学习，如采用典型的决策树学习作为弱预测模型，这时则为梯度提升树。像其他提升方法一样，它以分阶段的方式构建模型，但它通过允许对任意可可微函数损失函数进行优化作为对一般提升方法的推广。