你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
输入关键字进行搜索
搜索:
没有找到相关结果
ruirui_ICT - 听大大们说,要“左手代码,右手公式”,喵~
赞同来自: 海之蓝 、李扬 、ZhangXu 、attitude 、孙琳钧 、yty98 、hphuanglei 、pustar 、今天可以2 、stormkingz 、鸡蛋打卤面 、zhanpx 、OutLaws 、帆帆帆仔 、h_feiteng 、jie3377 、十点睡七点起 、达达的马蹄oO 、张凯霖0303 、使命召唤0618 、tron1992 、雨叶清霜 、yiboin 、nesciemus 、我最最喜欢你了 、那年的鼬 、OpenAI 、容大大的milk 、Banggui02 、rain16881 、yyuullzt 、心识谋 、llh1215 、EchoMaster 、深度学习思考者 、塔上的樹 、NBinggee 、CatherineW 、Fangbo 、kfsshalu更多 »
Turing_Neumann
赞同来自: zfq 、SunLoveDL 、zaf赵 、dakeli 、aktiger 、黑土_2017 、xuyanging 、Fangbo 、Amor_ 、kfsshalu 、SCUT2014更多 »
Caffe的万丈高楼(Net)是按照我们的设计图纸(prototxt),用Blob这些砖块筑成一层层(Layer)楼房,最后通过SGD方法(Solver)进行先简装修(Train)、后精装修(Finetune)实现的。最后通过(Test)验收。
Na0kiz
赞同来自: xinmiao 、anxingle 、lsilver 、xuyanging
爱在路上 - 想成为菜鸟中的战斗机
赞同来自: NJUSTghw 、aktiger 、Braum
lizhli2825
赞同来自: CatherineW 、caffe
那年的鼬
赞同来自:
要回复问题请先登录或注册
6 个回复
ruirui_ICT - 听大大们说,要“左手代码,右手公式”,喵~
赞同来自: 海之蓝 、李扬 、ZhangXu 、attitude 、孙琳钧 、yty98 、hphuanglei 、pustar 、今天可以2 、stormkingz 、鸡蛋打卤面 、zhanpx 、OutLaws 、帆帆帆仔 、h_feiteng 、jie3377 、十点睡七点起 、达达的马蹄oO 、张凯霖0303 、使命召唤0618 、tron1992 、雨叶清霜 、yiboin 、nesciemus 、我最最喜欢你了 、那年的鼬 、OpenAI 、容大大的milk 、Banggui02 、rain16881 、yyuullzt 、心识谋 、llh1215 、EchoMaster 、深度学习思考者 、塔上的樹 、NBinggee 、CatherineW 、Fangbo 、kfsshalu更多 »
很多人建议caffe从四个层次来理解:Blob、Layer、Net、Solver,和题主的问题还挺match的
1.Blob
Blob是caffe基本的数据结构,用四维矩阵 Batch×Channel×Height×Weight表示,存储了网络的神经元激活值和网络参数,以及相应的梯度(激活值的残差和dW、db)。其中包含有cpu_data、gpu_data、cpu_diff、gpu_diff、mutable_cpu_data、mutable_gpu_data、mutable_cpu_diff、mutable_gpu_diff这一堆很像的东西,分别表示存储在CPU和GPU上的数据(印象中二者的值好像是会自动同步成一致的),其中带data的里面存储的是激活值和W、b,diff中存储的是残差和dW、db,另外带mutable和不带mutable的一对指针所指的位置是相同的,只是不带mutable的只读,而带mutable的可写。
2.Layer
Layer代表了神经网络中各种各样的层,组合成一个网络。一般一个图像或样本会从数据层中读进来,然后一层一层的往后传。除了数据层比较特殊之外,其余大部分层都包含4个函数:LayerSetUp、Reshape、Forward、Backward。其中LayerSetup用于初始化层,开辟空间,填充初始值什么的。Reshape是对输入值进行维度变换,比如pooling接全连接层的时候要先拉成一个向量再计算。Forward是前向传播,Backward是后向传播。当然对于我这种喜欢偷懒的童鞋一般学习的时候最喜欢看各种层的Backward函数了,最好是对着公式边推导边看,可以有更直观的理解。
那么数据是如何在层之间传递的呢?每一层都会有一个(或多个)Bottom和top,分别存储输入和输出,比如bottom[0]->cpu_data()存输入的神经元激活值,换成top存输出的,换成cpu_diff()存的是激活值的残差,换成gpu是存在GPU上的数据,再带上mutable就可写了,这些是神经元激活值相关的,如果这个层前后有多个输入输出层,就会有bottom[1],比如accuracy_layer就有两个输入,fc8和label。而每层的参数会存在this->blobs_里,一般this->blobs_[0]存W,this->blobs_[1]存b,this->blobs_[0]->cpu_data()存的是W的值,this->blobs_[0]->cpu_diff()存的梯度dW,b和db也类似,然后换成gpu是存在GPU上的数据,再带上mutable就可写了。。(各种变量好多好晕,但愿我说清楚了。。)
哦对了,凡是能在GPU上运算的层都会有名字相同的cpp和cu两个文件,cu文件中运算时基本都调用了cuda核函数,可以在math_function.cu中查看。
3.Net
Net就是把各种层按train_val.prototxt的定义堆叠在一起,首先进行每个层的初始化,然后不断进行Update,每更新一次就进行一次整体的前向传播和反向传播,然后把每层计算得到的梯度计算进去,完成一次更新,这里注意每层在Backward中只是计算dW和db,而W和b的更新是在Net的Update里最后一起更新的。而且在caffe里训练模型的时候一般会有两个Net,一个train一个test。刚开始训练网络时前面的一大堆输出,网络的结构什么的也都是这里输出的。
4.Solver
Solver是按solver.prototxt的参数定义对Net进行训练,首先会初始化一个TrainNet和一个TestNet,然后其中的Step函数会对网络不断进行迭代,主要就是两个步骤反复迭代:①不断利用ComputeUpdateValue计算迭代相关参数,比如计算learning rate,把weight decay加上什么的,②调用Net的Update函数对整个网络进行更新。迭代中的一大堆输出也是在这里输出的,比如当前的loss和learning rate什么的。
综上,为了把整个过程串起来,可以从tools/caffe这个我们最常用的函数入手,训练一个网络然后跟着数据的流动方向看看一个网络是怎么更新的,然后找自己比较感兴趣的地方细看。我本人主要看各种Layer的实现比较多,对其余的部分理解也有限,希望可以一起讨论~
(针对最近大大们头疼的侵权问题,在这里弱弱的加一句:本内容为本人原创,仅授权给CaffeCN使用,如需转载须注明转载来源。(⊙v⊙))
Turing_Neumann
赞同来自: zfq 、SunLoveDL 、zaf赵 、dakeli 、aktiger 、黑土_2017 、xuyanging 、Fangbo 、Amor_ 、kfsshalu 、SCUT2014更多 »
有助于理解。
Na0kiz
赞同来自: xinmiao 、anxingle 、lsilver 、xuyanging
首先是初始化的过程:train函数先生成solver类的对象,solver对象中有net类的内部变量,所以solver对象生成的同时生成了net类对象,solver对象是根据train函数中传入的prototxt文件来初始化的。
同理net类对象里有一个layer类的vector容器,里面实际将会装进各个不同的层,net类对象会通过传入solver类对象的初始化量来找到xxx.prototxt这样的层描述文件中的内容,来初始化这个layer类的vector容器。
然后训练的过程:train函数执行solver的solve函数,solve函数会根据设定的参数循环调用net类的forwardbackward函数,net类的forforward和backward函数主要负责控制前向和反相的顺序,按照顺序调用不同的layer前向和反向的函数,而layer类中的forward和backward函数负责不同层实现的细节。
爱在路上 - 想成为菜鸟中的战斗机
赞同来自: NJUSTghw 、aktiger 、Braum
lizhli2825
赞同来自: CatherineW 、caffe
主线程在Nat Init的时候执行各个layer的setup函数,执行第一个数据层的setup函数时,开启一个县城InternalThread,此线程从LMDB中读取数据。
数据线程和主县城之间的通信采用两个不定向数组来实现线程安全。
主线程申请4个(默认)batch空间,将batch指针push到prefetch_free_数组,然后在数据线程,逐个从prefetch_free_中pop出来,调用load_batch,从lmdb中读取数据填充至该batch,然后将该batch push到prefetch_full_数组;直至prefetch_free_数组中元素为空时,交出CPU,阻塞等待。
主线程的循环迭代时,每次迭代循环执行每个layer的forward,把载有数据的batch从perfetch_full_中pop出来,然后开始执行forward计算。
把数据这块看懂了,整个caffe的线程框架就明白了。
那年的鼬
赞同来自: