caffe的initialization问题

最近训练网络的时候,训练数据4W,网络(7conv,3fc),遇到过几次loss一直不下降的问题(lr已经足够小了),通过了解发现可能是数据的初始化有问题,了解到目前caffe已有的三种初始化方法,Gaussian、Xavier和MSRA,想问下,1、针对不同的训练网络,如何选择不同的初始化方式?2、如果想自己来进行初始化,请问该如何实施?谢谢各位!
已邀请:

shuokay

赞同来自:

请问楼主是不是使用了kaiming的 xavier初始化方法?我遇到过类似问题,改个参数就好了。但是,没找到原因。
在论文中kaiming的var 似乎应该是```Var[w_l]==2/n_l```,但是,这样设置的话会不收敛,```Var[w_l]==2.34/n_l```是可以收敛的,希望大神来解惑

要回复问题请先登录注册