你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
没有找到相关结果
YJango - 在日研究生,人工智能专业
赞同来自: 佛仙魔
whjxnyzh
xinmiao
赞同来自:
要回复问题请先登录或注册
吃饭睡觉小能手 ^_^Y
4 个回复
YJango - 在日研究生,人工智能专业
赞同来自: 佛仙魔
持续很长时间不变就是因为“卡”在了局部最小值上了
whjxnyzh
赞同来自: 佛仙魔
YJango - 在日研究生,人工智能专业
赞同来自: 佛仙魔
这是我当初第一次接触神经网络时候学习XOR gate的error图(最原始的神经网络算法)
学习速率是始终不变的。像我在上面说过学习过程就是通过梯度不断缩小损失函数的过程。很容易陷在某个局部最小极值。这种loss曲线成阶段性是正常现象。现在的神经网络算法有很多手段可以加快 越过局部最小极值 的速度。
比如shuffle训练数据来加入“随机性”,让训练过程不走“常规路”。以及在训练中逐步缩小学习速率。
判断是否达到真正的最小值而不是局部最小极值的方法就是改变网络的学习过程。上述的shuffle(尤为重要),和逐步降低学习速度就可以做到。用dropout也可以。
xinmiao
赞同来自: