训练开始后loss值不变化

在训练时发现,loss值从一开始就不变。然后使用Reduction Layer观察blob值的变化,发现data经过第一个conv层之后,top blob的值都为0了。修改了这个conv的初始化方法之后,结果还是为0。
求大神指导~~~~
已邀请:

phoenixbai

赞同来自: alex68

遇到过,也是learning_rate的问题,若在用step policy,下面这四个参数,都需要调一下
    lr_policy: "step"
    stepsize: 100000
    gamma: 0.8
 
其中,gamma值越大,意味着lr递减速度越慢。同时,stepsize的大小跟你的batch_size是有较大关系的。测几个组合应该是能出来的。

hcube

赞同来自:

减小solver里面的base_lr呢

feynman

赞同来自:

请问你的问题解决了吗,我也遇到了这个问题,求指教!
 

佛仙魔 - 吃饭睡觉小能手 ^_^Y

赞同来自:

我在1080的显卡上装了cuda7.5,运行时出现如上述问题。更新cuda8.0后,问题解决。大家可以尝试更新cuda版本。

人工智能学者

赞同来自:

我也遇到了,有解决方法吗?
 

要回复问题请先登录注册