FNN,CNN,RNN的区别

首先,更正题目,我个人不把他们叫做CNN或RNN,而叫convolutional layers,recurrent layers,feedforward layers。
所有layers的本质都是feedforward。
  1. feedforward layer是指在一个vector内部的不同维度之间进行一次信息交互。
  2. convolutional layer是以逐次扫描的方式在一个vector的局部进行多次信息交互
  3. recurrent layer就是在hidden state上增加了loop,看似复杂,其实就是从时间维度上进行了展开。是在不同时刻的多个vectors之间进行信息交互


深层学习的“深”字是由于将分类/回归和特征提取两者结合在一起来训练了。
Recurrent layer和convolutional layer都可以看成是特征提取层。
  • 语音识别用Recurrent layer去学习“如何”去听,再用学好的听取方式去处理声音再送入分类器中。

              人脑举例子:我们大脑已有从中文学来的对语音的“特征提取层”和“分类层”。学习外语的时候,只是新训练了一个“分类层”,继续用中文的语音的“特征提取层”,这是外语听力的不好的原因之一。
  • 画面识别convolutional layer学习“如何”去观察,再用学好的观察方式去处理画面再送入分类器中。

            人脑举例子:我们在观察图片的时候并不是一眼把所有画面都送入大脑进行识别的,而是跟convolutional layer的处理方式一样,逐一扫描局部后再合并。不同的扫描方式,所观察出的内容也不同。具体可以看下面的部分Simplified introduction to deep neural networks
 
已邀请:

要回复问题请先登录注册