caffe的normalize层和batchNorm层什么区别?

bonerkiller 回复了问题 • 3 人关注 • 1 个回复 • 366 次浏览 • 2016-10-11 17:38 • 来自相关话题

Tiling layer的转换问题

回复

参数调节qibai 发起了问题 • 1 人关注 • 0 个回复 • 334 次浏览 • 2016-10-09 20:41 • 来自相关话题

关于fast/faster rcnn bbox 中的target normalization的疑问

回复

参数调节Mounty 发起了问题 • 2 人关注 • 0 个回复 • 429 次浏览 • 2016-10-05 09:49 • 来自相关话题

FNN,CNN,RNN的区别

回复

YJango 发起了问题 • 2 人关注 • 0 个回复 • 489 次浏览 • 2016-10-04 08:48 • 来自相关话题

Simplified introduction to deep neural networks

YJango 发表了文章 • 1 个评论 • 301 次浏览 • 2016-10-01 03:08 • 来自相关话题

Simplified introduction to deep neural networks

这是我硕士毕业论文的第二章,是简单介绍深层神经网络的。
容易理解也易于扩展,希望帮助新人找到最初的感觉。不过遗憾的是只有英文的。可能还有排版错误。

简单理解神经网络应该分为两部分
网络结构:神经网络是怎么计算预测的,以及神经网络为什么好用。网络训练:神经网络是怎么训练的,以及如何克服在训练时所遇到的如过拟合,梯度消失等问题。
目前关于神经网络的主流研究也是分为网络结构和网络训练两大类(姑且不谈应用)

进一步理解围绕“深层”二字来神经网络的的话应该在网络结构中细分出另一类:
网络结构:
特征结构:之所以要深层是因为一部分的层在完成“学习如何提取特征”的任务。比如画面处理的convolutional layers ,时间序列处理的Recurrent layers。甚至feedforward layers也能完成此任务。分类/递归结构:如果仅需完成分类器的任务的话,一个hidden feedforward足以。其他的机器学习算法如SVM,GP甚至做的要比神经网络要好。
不过很遗憾的是,我的硕士论文中并未细分此点。
举例说明:比如图片识别。一个图片究竟是什么不仅取决于图片本身,还取决于识别者“如何观察”。




如果这是一个训练样本。
当你给的标签是少女的时候,convolutional layers会以此学习“如何观察”成少女当你给的标签是老妇的时候,convolutional layers会以此学习“如何观察”成老妇之所以深层,是因为一定数量的层数在学习“如何观察”。再学习完如何观察后再传递给“分类层”中去。而分类层并不需要“深”。网络结构中最重要的是特征结构层。
先抓住主干,再学习细节,以这种理解为基础,可以很容易确定该如何设计神经网络,以及网络表现不好时该如何调整。

  查看全部
Simplified introduction to deep neural networks

这是我硕士毕业论文的第二章,是简单介绍深层神经网络的。
容易理解也易于扩展,希望帮助新人找到最初的感觉。不过遗憾的是只有英文的。可能还有排版错误。

简单理解神经网络应该分为两部分
  • 网络结构:神经网络是怎么计算预测的,以及神经网络为什么好用。
  • 网络训练:神经网络是怎么训练的,以及如何克服在训练时所遇到的如过拟合,梯度消失等问题。

目前关于神经网络的主流研究也是分为网络结构和网络训练两大类(姑且不谈应用)

进一步理解围绕“深层”二字来神经网络的的话应该在网络结构中细分出另一类:
网络结构:
  • 特征结构:之所以要深层是因为一部分的层在完成“学习如何提取特征”的任务。比如画面处理的convolutional layers ,时间序列处理的Recurrent layers。甚至feedforward layers也能完成此任务。
  • 分类/递归结构:如果仅需完成分类器的任务的话,一个hidden feedforward足以。其他的机器学习算法如SVM,GP甚至做的要比神经网络要好。

不过很遗憾的是,我的硕士论文中并未细分此点。
举例说明:比如图片识别。一个图片究竟是什么不仅取决于图片本身,还取决于识别者“如何观察”。
3-141011215254923.jpg

如果这是一个训练样本。
  • 当你给的标签是少女的时候,convolutional layers会以此学习“如何观察”成少女
  • 当你给的标签是老妇的时候,convolutional layers会以此学习“如何观察”成老妇
  • 之所以深层,是因为一定数量的层数在学习“如何观察”。再学习完如何观察后再传递给“分类层”中去。而分类层并不需要“深”。
  • 网络结构中最重要的是特征结构层。

先抓住主干,再学习细节,以这种理解为基础,可以很容易确定该如何设计神经网络,以及网络表现不好时该如何调整。

 

数据扩增方法及可用工具代码

大规模优化Machine 回复了问题 • 1 人关注 • 1 个回复 • 361 次浏览 • 2016-09-29 16:30 • 来自相关话题

关于训练faster rcnn的参数初始化问题

回复

参数调节那年的鼬 发起了问题 • 1 人关注 • 0 个回复 • 231 次浏览 • 2016-09-26 20:17 • 来自相关话题

关于R-CNN论文中的SVM和softmax

jammieluo 回复了问题 • 2 人关注 • 1 个回复 • 461 次浏览 • 2016-09-23 19:34 • 来自相关话题

CNN的第一个卷积kernel size 设3还是7或者11

参数调节biometrics 回复了问题 • 3 人关注 • 2 个回复 • 905 次浏览 • 2016-09-23 11:44 • 来自相关话题

caffe学习率设置设置

biometrics 回复了问题 • 3 人关注 • 2 个回复 • 348 次浏览 • 2016-09-23 11:38 • 来自相关话题

caffe hinge loss 的实现

回复

ecitTop 发起了问题 • 3 人关注 • 0 个回复 • 346 次浏览 • 2016-09-22 10:50 • 来自相关话题

求怎样将彩色图片存储为类似于mnist的train-images-idx3-ubyte格式的代码们。

珍珠夏style 回复了问题 • 2 人关注 • 1 个回复 • 773 次浏览 • 2016-09-20 09:49 • 来自相关话题

求解一些caffe的名词解释

参数调节米想好昵称 回复了问题 • 3 人关注 • 1 个回复 • 390 次浏览 • 2016-09-13 16:41 • 来自相关话题

caffe中BatchNorm和Scale层各参数的意义

参数调节风林火山 回复了问题 • 4 人关注 • 2 个回复 • 3685 次浏览 • 2016-09-09 20:41 • 来自相关话题

问一下为什么cifar10和imagenet的data layer里面没有scale,将0到255归一化成0到1?

回复

maoseeker 回复了问题 • 1 人关注 • 1 个回复 • 332 次浏览 • 2016-09-07 16:59 • 来自相关话题

数据送入网络时,是否还有必要减去均值?

爱在路上 回复了问题 • 3 人关注 • 1 个回复 • 302 次浏览 • 2016-09-05 09:26 • 来自相关话题

如何将caffemodel中提取出的mat文件再转化成caffemodel的形式?

xiaochao 回复了问题 • 2 人关注 • 1 个回复 • 372 次浏览 • 2016-09-02 10:56 • 来自相关话题

1X1卷积核到底有什么作用呢?

小狐狸是女王大人 回复了问题 • 34 人关注 • 6 个回复 • 7132 次浏览 • 2016-09-01 13:44 • 来自相关话题

vgg_face的调优工作

参数调节zjwzcnjsy 回复了问题 • 7 人关注 • 4 个回复 • 815 次浏览 • 2016-09-01 09:18 • 来自相关话题

怎么解决高原反应?万分类loss rate 一直在9.2%左右,求大神。。。

回复

参数调节爱在路上 回复了问题 • 1 人关注 • 1 个回复 • 230 次浏览 • 2016-08-31 16:13 • 来自相关话题