caffe里面的误差的反向传播怎么实现来的?

caffe用于分类里面的误差的反向传播怎么实现来的,是计算误差之后一层一层的返回传播回去吗?还是说前面的层用无监督学习,后面的全链接层才用有监督学习?
已邀请:

ruirui_ICT - 听大大们说,要“左手代码,右手公式”,喵~

赞同来自: attitude uestc_yang 孙琳钧 辛淼 李扬 janemy pustar lady_he 好兵兵啊 李士林 epleone hgzry812 深度学习思考者 贺思远 tracycw更多 »

   首先概括回答一下这个问题,分类的CNN是有监督的,就是在最后一层计算分类结果的loss,然后利用这个loss对整个网络进行更新,更新的关键就是计算梯度和偏置的导数dW和db,而Back Propagation主要就是为了解决前面的层的dW不容易计算的问题,具体是将loss通过一个残差delta一层一层往前传,因此无论是全连接层还是卷积层,全部是有监督的。
   至于实现BP的理论和推导,cjwdeq同学已经讲的非常清楚了。既然答题组的大大们总说要发扬“左手代码,右手公式”的精神,我就结合caffe的源码讲讲具体反向传播是怎么实现的。先从简单的全连接层入手:
   打开Inner_product_layer.cpp,里面的Backward_cpu函数实现了反向传播的过程。(如果使用的是GPU,则会调用Inner_product_layer.cu文件里的Backward_gpu函数,实现过程是类似的)
   先通过LayerSetUp函数明确几个变量:
N_ = num_output;
K_ = bottom[0]->count(axis);
M_ = bottom[0]->count(0, axis);
N_表示输出的特征维数,即输出的神经元的个数
K_表示输入的样本的特征维数,即输入的神经元的个数
M_表示样本个数
因此全连接层的W维数就是N_×K_,b维数就是N_×1
weight_shape[0] = N_;
weight_shape[1] = K_;
vector<int> bias_shape(1, N_);
this->blobs_[1].reset(new Blob<Dtype>(bias_shape));
下面一行一行看Backward_cpu函数的代码,整个更新过程大概可以分成三步:(顺便盗几个cjwdeq同学贴的公式,哈哈)
1.
caffe_cpu_gemm<Dtype>(CblasTrans, CblasNoTrans, N_, K_, M_, (Dtype)1.,
top_diff, bottom_data, (Dtype)0., this->blobs_[0]->mutable_cpu_diff());
这一句是为了计算dW,对应公式就是

1.jpg

 
 
其中的bottom_data对应的是a,即输入的神经元激活值,维数为K_×N_,top_diff对应的是delta,维数是M_×N_,而caffe_cpu_gemm函数是对blas中的函数进行封装,实现了一个N_×M_的矩阵与一个M_×K_的矩阵相乘(注意此处乘之前对top_diff进行了转置)。相乘得到的结果保存于blobs_[0]->mutable_cpu_diff(),对应dW。
2.
caffe_cpu_gemv<Dtype>(CblasTrans, M_, N_, (Dtype)1., top_diff,
bias_multiplier_.cpu_data(), (Dtype)0.,
this->blobs_[1]->mutable_cpu_diff());
这一句是为了计算db,对应公式为

2.jpg

caffe_cpu_gemv函数实现了一个M_×N_的矩阵与N_×1的向量进行乘积,其实主要实现的是对delta进行了一下转置,就得到了db的值,保存于blobs_[1]->mutable_cpu_diff()中。此处的与bias_multiplier_.cpu_data()相乘是实现对M_个样本求和,bias_multiplier_.cpu_data()是全1向量,从公式上看应该是取平均的,但是从loss传过来时已经取过平均了,此处直接求和即可。(感谢@孙琳钧和@辛淼同学的提醒)
3.
caffe_cpu_gemm<Dtype>(CblasNoTrans, CblasNoTrans, M_, K_, N_, (Dtype)1.,
top_diff, this->blobs_[0]->cpu_data(), (Dtype)0.,
bottom[0]->mutable_cpu_diff());
这一句是为了利用后面层传过来的delta_l+1计算本层的delta_l,对应公式为

3.jpg

主要Inner_product层里面并没有激活函数,因此没有乘f’,与f’的相乘写在ReLU层的Backward函数里了,因此这一句里只有W和delta_l+1相乘。blobs_[0]->cpu_data()对应W,维度是N_×K_,bottom[0]->mutable_cpu_diff()是本层的delta_l,维度是M_×K_。
    写了这么多,Backward_cpu函数终于结束了。但是更新其实没结束,我最初看源码时就觉得奇怪,因为Backward_cpu函数里只计算了dW,db,delta,并没有对W和b进行更新呀?后来才发现,其实caffe里的反向传播过程只是计算每层的梯度的导,把所有层都计算完之后,在solver.cpp里面统一对整个网络进行了更新。具体是在step函数里先通过ComputeUpdateValue把learning rate、momentum、weight_decay什么的都算好,然后调用了Net.cpp的update函数逐层更新,对应公式就是:

4.jpg

 
    以上基本就是整个全连接层的更新过程,卷积层的过程类似。(不过我当初看源码的时候偷懒,卷积层的没认真看,我打算借这个机会回去仔细看一下,过几天回来再写^_^)
    如果哪些地方写的不对,欢迎同学们指正~
 
 
假设代价函数为:
029cdd402b83ee43c7e9a900dccd675a.jpg

参数符号说明如下:

QQ截图20151226103236.jpg


QQ截图20151226103331.jpg

 1.进行前馈传导计算,利用前向传导公式,得到L2,L3直到输出层Lnl的激活值。
2.对于第nl层(输出层)的每个输出单元i,我们根据以下公式计算残差:

0b057858cd01020adb2c41cd8a586049.jpg


其中求和符号最后没有的原因是因为这一步是输出层的输出单元,输出层与标签只有一个连接,而不是像隐层一样每个神经元与后面隐层几个连接,所以反向回来时候输出层就算求和也是一个连接的传递。
3.对l = nl-1, nl-2, nl-3,的各个层,第l层的第i个节点的残差计算方法如下:

701c8dc8dbd71013c6a4110a1cb4f6f7.jpg

这里一步步求导就可以了,跟上面过程类似。
将上式中的nl-1与nl的关系替换为l与l+1的关系,就可以得到:

20f9979d6a46e7bca83f217bdfead4f0.jpg

以上逐次从后向前求导的过程即为“反向传导”的本意所在。
4.计算我们需要的偏导数,计算方法如下:

21db5874b1c1c14bcb675e9961dac9cb.jpg

随后按照如下公式对参数W和b进行更新:

6fe7c74511cd6d49a4c9cb6de2afdc33.jpg

所以批量梯度下降算法,一次迭代如下:

QQ截图20151226103633.jpg


这大概就是整个过程。可以看成最后一层的残差反传其实是有监督的,而其它层的可以说是无监督的。我个人理解如上,不知道能不能解决你的问题。

0布点0 - 图像处理新手

赞同来自:

残差和损失函数是什么关系呢?望各位大神不吝赐教^_^

王蒙蒙 - CaffeCN社区志愿者

赞同来自:

请问最后一个公式中的λW这一项是什么?

要回复问题请先登录注册