链式法则 编辑
连锁律,亦称连锁法则,用于求复合函数导数
5
图片 0 图片
评论 0 评论
匿名用户 · [[ show_time(comment.timestamp) ]]
[[ nltobr(comment.content) ]]
相关
换元积分法,又称变数变换法,是求积分的一种方法,由链式法则和微积分基本定理推导而来。
反向传播是对多层人工神经网络进行梯度下降法的算法,也就是用链式法则以网络每层的权重为变数计算损失函数的梯度,以更新权重来最小化损失函数。
梯度消失问题是一种机器学习中的难题,出现在以梯度下降法和反向传播算法训练人工神经网络的时候。在每次训练的迭代中,神经网路权重的更新值与误差函数的偏导数成比例,然而在某些情况下,梯度值会几乎消失,使得权重无法得到有效更新,甚至神经网络可能完全无法继续训练。举个例子来说明问题起因,一个传统的激励函数如双曲正切函数,其梯度值在 范围内,反向传播以链式法则来计算梯度。