400-123-4657
联系人:张生
咨询热线:400-123-4657
传真:+86-123-4567
手机:13800000000
邮箱:admin@youweb.com
地址:广东省广州市天河区88号
如上图所示,算法中涉及两个滑动平均和。是梯度的滑动平均,是梯度的平方的的滑动平均。问题出在这两个变量的初始化,它们都被初始化为0,那么在迭代之初和decay非常弱的时候(),会出现 0/0,导致溢出。
因此,Adam使用了一个简单的初始化校正。为了纠正滑动平均和我们真正想要的之间的差距,我们来算一下。
如果是平稳的,即每个时刻的均值一样,那么我们有。那么唯一的差别就仅有。所以除掉它就好啦!
在线时间 9:00 - 23:00
在线客服
微信扫一扫