关于fast/faster rcnn bbox 中的target normalization的疑问

回复

参数调节Mounty 发起了问题 • 2 人关注 • 0 个回复 • 1399 次浏览 • 2016-10-05 09:49 • 来自相关话题

FNN,CNN,RNN的区别

回复

YJango 发起了问题 • 2 人关注 • 0 个回复 • 1483 次浏览 • 2016-10-04 08:48 • 来自相关话题

Simplified introduction to deep neural networks

YJango 发表了文章 • 1 个评论 • 541 次浏览 • 2016-10-01 03:08 • 来自相关话题

Simplified introduction to deep neural networks

这是我硕士毕业论文的第二章,是简单介绍深层神经网络的。
容易理解也易于扩展,希望帮助新人找到最初的感觉。不过遗憾的是只有英文的。可能还有排版错误。

简单理解神经网络应该分为两部分
网络结构:神经网络是怎么计算预测的,以及神经网络为什么好用。网络训练:神经网络是怎么训练的,以及如何克服在训练时所遇到的如过拟合,梯度消失等问题。
目前关于神经网络的主流研究也是分为网络结构和网络训练两大类(姑且不谈应用)

进一步理解围绕“深层”二字来神经网络的的话应该在网络结构中细分出另一类:
网络结构:
特征结构:之所以要深层是因为一部分的层在完成“学习如何提取特征”的任务。比如画面处理的convolutional layers ,时间序列处理的Recurrent layers。甚至feedforward layers也能完成此任务。分类/递归结构:如果仅需完成分类器的任务的话,一个hidden feedforward足以。其他的机器学习算法如SVM,GP甚至做的要比神经网络要好。
不过很遗憾的是,我的硕士论文中并未细分此点。
举例说明:比如图片识别。一个图片究竟是什么不仅取决于图片本身,还取决于识别者“如何观察”。




如果这是一个训练样本。
当你给的标签是少女的时候,convolutional layers会以此学习“如何观察”成少女当你给的标签是老妇的时候,convolutional layers会以此学习“如何观察”成老妇之所以深层,是因为一定数量的层数在学习“如何观察”。再学习完如何观察后再传递给“分类层”中去。而分类层并不需要“深”。网络结构中最重要的是特征结构层。
先抓住主干,再学习细节,以这种理解为基础,可以很容易确定该如何设计神经网络,以及网络表现不好时该如何调整。

  查看全部
Simplified introduction to deep neural networks

这是我硕士毕业论文的第二章,是简单介绍深层神经网络的。
容易理解也易于扩展,希望帮助新人找到最初的感觉。不过遗憾的是只有英文的。可能还有排版错误。

简单理解神经网络应该分为两部分
  • 网络结构:神经网络是怎么计算预测的,以及神经网络为什么好用。
  • 网络训练:神经网络是怎么训练的,以及如何克服在训练时所遇到的如过拟合,梯度消失等问题。

目前关于神经网络的主流研究也是分为网络结构和网络训练两大类(姑且不谈应用)

进一步理解围绕“深层”二字来神经网络的的话应该在网络结构中细分出另一类:
网络结构:
  • 特征结构:之所以要深层是因为一部分的层在完成“学习如何提取特征”的任务。比如画面处理的convolutional layers ,时间序列处理的Recurrent layers。甚至feedforward layers也能完成此任务。
  • 分类/递归结构:如果仅需完成分类器的任务的话,一个hidden feedforward足以。其他的机器学习算法如SVM,GP甚至做的要比神经网络要好。

不过很遗憾的是,我的硕士论文中并未细分此点。
举例说明:比如图片识别。一个图片究竟是什么不仅取决于图片本身,还取决于识别者“如何观察”。
3-141011215254923.jpg

如果这是一个训练样本。
  • 当你给的标签是少女的时候,convolutional layers会以此学习“如何观察”成少女
  • 当你给的标签是老妇的时候,convolutional layers会以此学习“如何观察”成老妇
  • 之所以深层,是因为一定数量的层数在学习“如何观察”。再学习完如何观察后再传递给“分类层”中去。而分类层并不需要“深”。
  • 网络结构中最重要的是特征结构层。

先抓住主干,再学习细节,以这种理解为基础,可以很容易确定该如何设计神经网络,以及网络表现不好时该如何调整。

 

数据扩增方法及可用工具代码

大规模优化Machine 回复了问题 • 1 人关注 • 1 个回复 • 980 次浏览 • 2016-09-29 16:30 • 来自相关话题

关于训练faster rcnn的参数初始化问题

回复

参数调节那年的鼬 发起了问题 • 1 人关注 • 0 个回复 • 730 次浏览 • 2016-09-26 20:17 • 来自相关话题

关于R-CNN论文中的SVM和softmax

jammieluo 回复了问题 • 2 人关注 • 1 个回复 • 926 次浏览 • 2016-09-23 19:34 • 来自相关话题

CNN的第一个卷积kernel size 设3还是7或者11

参数调节biometrics 回复了问题 • 3 人关注 • 2 个回复 • 5442 次浏览 • 2016-09-23 11:44 • 来自相关话题

caffe学习率设置设置

biometrics 回复了问题 • 3 人关注 • 2 个回复 • 974 次浏览 • 2016-09-23 11:38 • 来自相关话题

求怎样将彩色图片存储为类似于mnist的train-images-idx3-ubyte格式的代码们。

珍珠夏style 回复了问题 • 2 人关注 • 1 个回复 • 1494 次浏览 • 2016-09-20 09:49 • 来自相关话题

求解一些caffe的名词解释

参数调节米想好昵称 回复了问题 • 3 人关注 • 1 个回复 • 883 次浏览 • 2016-09-13 16:41 • 来自相关话题

caffe中BatchNorm和Scale层各参数的意义

参数调节风林火山 回复了问题 • 4 人关注 • 2 个回复 • 15807 次浏览 • 2016-09-09 20:41 • 来自相关话题

问一下为什么cifar10和imagenet的data layer里面没有scale,将0到255归一化成0到1?

回复

maoseeker 回复了问题 • 1 人关注 • 1 个回复 • 829 次浏览 • 2016-09-07 16:59 • 来自相关话题

如何将caffemodel中提取出的mat文件再转化成caffemodel的形式?

xiaochao 回复了问题 • 2 人关注 • 1 个回复 • 1077 次浏览 • 2016-09-02 10:56 • 来自相关话题

怎么解决高原反应?万分类loss rate 一直在9.2%左右,求大神。。。

回复

参数调节爱在路上 回复了问题 • 1 人关注 • 1 个回复 • 666 次浏览 • 2016-08-31 16:13 • 来自相关话题

caffe如何在训练过程修改每一步的权重

参数调节happynear 回复了问题 • 4 人关注 • 4 个回复 • 934 次浏览 • 2016-08-29 21:50 • 来自相关话题

关于FCN中上采样的双线性插值问题

nesciemus 回复了问题 • 1 人关注 • 1 个回复 • 1350 次浏览 • 2016-08-29 21:05 • 来自相关话题

deconvolution layer 和up-samling layer 是一回事吗?他们之间有什么关系

李扬 回复了问题 • 4 人关注 • 2 个回复 • 1931 次浏览 • 2016-08-24 16:47 • 来自相关话题

最后一个全链接层InnerProduct的num_output是根据什么确定的??

参数调节shenqi 回复了问题 • 2 人关注 • 1 个回复 • 944 次浏览 • 2016-08-23 18:09 • 来自相关话题

训练中精度才达到0.41就不变了,有那方面的原因啊?

回复

参数调节Im_cq 发起了问题 • 1 人关注 • 0 个回复 • 561 次浏览 • 2016-08-23 13:42 • 来自相关话题

HMC算法的实现

回复

珍珠夏style 发起了问题 • 1 人关注 • 0 个回复 • 633 次浏览 • 2016-08-23 10:39 • 来自相关话题