caffe中weight_filler的xavier这个类型的有什么用?

能否详细说明下,在这先谢谢
已邀请:

disheng

赞同来自: caffe xjtuljy

对参数进行初始化,尺度不均匀的初始化会导致优化的过程中梯度变化不均匀,xavier进行的是尺度为1的初始化。
参见 Understanding the difficulty of training deep feedforward neural networks 的Sec.4.2。

Goodwin

赞同来自: xinmiao disheng

没有理解楼上(@disheng)的解释。
xavier是从[-scale, +scale]中进行均匀采样,对卷积层或全连接层中参数进行初始化的方法。
其中scale = \sqrt(3 / n), n根据不同实现可设置为n=(num_in + num_out) / 2 (Understanding the difficulty of training deep feedforward neural networks ),或n=num_out (caffe最初实现方法)。
 

要回复问题请先登录注册