Guhongjie

优化算法

梯度下降

牛顿法

Momentum(动量法)

prevStep运动方向 * alpha(default=0.9) + 梯度方向 = nextStep运动方向

真实模拟了小球下降的过程

毫无疑问,减小了梯度的震荡,使得梯度更平缓了。

RMSprop

Adam

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注