梯度下降 编辑
梯度下降法是一个一阶最优化算法，通常也称为最陡下降法，但是不该与近似积分的最陡下降法混淆。
要使用梯度下降法找到一个函数的最值，必须向函数上当前点对应梯度的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的最值点；这个过程则被称为梯度上升法。
4
图片 0 图片
评论 0 评论
匿名用户 · [[ show_time(comment.timestamp) ]]
[[ nltobr(comment.content) ]]
相关
可微分编程是一种编程范型，在其中数值计算程序始终可通过自动微分来求导数。这允许了对程序中的参数的基于梯度优化，通常通过梯度下降。可微分编程广泛用于各种领域，特别是科学计算和人工智能。
在机器学习中，提前停止是一种在使用诸如梯度下降之类的迭代优化方法时，可对抗过拟合的正则化方法。这些迭代优化方法在每轮迭代过程中，都会使得模型更好地与训练集拟合。在某个节点之前，更好地拟合训练集使得模型在训练集之外的数据上表现得更好；但在该节点之后，更好地拟合训练集会增大泛化误差。提前停止相关规则给出停止迭代的条件，以便在模型开始过拟合之前停止迭代优化。提前停止相关规则已被用于多种机器学习方法。