对于刚开始接触深度学习领域的小白,应该怎样系统地进行该领域学习?

想利用深度学习完成图像中目标识别
已邀请:

ruirui_ICT - 听大大们说,要“左手代码,右手公式”,喵~

赞同来自: 李扬 冰壶秋月 孙琳钧 pustar carole0904 容大大的milk lovecole 木易ffenjoy更多 »

我觉得这是一个好问题,大家可以分享一下自己入门的时候都怎么学的,看了些什么教材觉得比较有帮助,供新入坑的同学参考
 
我觉得搞学术还是要理论+实践,“左手代码,右手公式”啥的
 
理论方面,可以参考一下这个问题的答案:作为初学者,分享几个入门深度学习的好资料
其中的UFLDL入门的时候大家基本都看过,确实是很好的教材,建议把里面的公式都推导一遍,作业亲自动手做一遍,网上的博客里很多人分享自己的作业答案,可以搜来看看
UFLDL看完了可以看看深度学习里的各种网络的原理,既然你想做图像,估计主要用CNN,可以看看斯坦福的这门课CS231n: Convolutional Neural Networks for Visual Recognition
讲的比较深入浅出,课程里面提供的参考论文也是比较新的有代表性的论文,有兴趣可以把这些论文也都看一遍
 
实践的话,咱们社区的人基本都在用caffe,入门的时候先把caffe里的example都跟着动手跑一遍,就会有一个比较完整的认识,然后再根据自己的要求具体钻研,想深入理解的话看看源码会有很大帮助。
 
最后说下我自己,本人博一小白一枚,本科数学系,两年多前转到计算机领域,去年7月左右开始入坑深度学习,最开始详细学习了UFLDL觉得很不错,然后开始乱看各种博客之类的,期间还把DeepLearnToolbox源码看过一遍,感觉比较简单易懂。这样闲散的过了两个月左右开学了,开始认真学习caffe,尝试跑小例子,看各种CNN的论文,主要是学习最近几年ImageNet比赛出来的论文,学习各种网络结构等等。后来就开始根据自己的研究课题抓住相关的论文看,看caffe的源码,根据自己需求改caffe源码,跑自己的实验。
 
 
同意上面同学的回答。
个人认为学习过程是这样的:开始我觉得要搞懂深度学习的背景以及为什么用深度学习,相比于传统方法的优势在哪里,造成这种特征表达的方式的根据和设想是什么,和人的视觉有哪些细微相似之处。
随后了解深层学习的原理是什么。
了解有哪些方法是深度学习方法,应用在哪些领域效果比较于该领域的传统方法要好。
深入了解一个深度表达方法的原理,可以从比较普遍的基本的用于图像分类的CNN模型入手:http://papers.nips.cc/paper/48 ... s.pdf
搞懂其中的结构,每一步操作都是什么操作,是怎么变换的。
深入了解BP算法流程,可以参考http://deeplearning.stanford.e ... %2595  理解到这个阶段,可以说对于CNN模型已经有了一个比较深入的了解了,随后根据自己所关注的领域来查询相关论文,而最好不要上来就看论文,搞懂其中的原理再看会更能抓住论文的闪光点,而不是囫囵吞枣的看。
  在看论文的同时,可以上手做一些编程实践,比如用python写一个最简单的神经网络,包括最简单的训练过程也实现一遍,印象和理解会更深入。
  框架方面如上同学所说,咱们一般都是使用caffe,所以开始可以跟着caffe的主页里面的教程跑一些例子熟悉一下流程,熟悉以后可以看一下源码,理解里面的具体实现结构,方便以后在框架的基础上做修改。但是一定时刻记住caffe只是一个工具,具体的研究也要落实在论文上,而不只是caffe上。
  最后推荐一本书,感觉写的还不错:http://neuralnetworksanddeeple ... .html 

  
  

冰壶秋月 - IT男

赞同来自:

  • 希望各位大大能够抽出时间指点一二,谢谢

辛淼 - CaffeCN社区创始人

赞同来自:

动手实践是掌握caffe框架的唯一捷径
匿名用户

匿名用户

赞同来自:

看过,跑过,调过,改过,造过。

shuokay

赞同来自:

非常非常非常推荐cs231n
关于CNN的其它的都不要看,尤其是百度到的blog,全是拿lenet5讲,可是,lenet5中因为当时计算资源不够的原因,做了一些妥协,现在完全不会用到,反而误导了初学者。我当时就被带偏了好久。“标准”的CNN其实很简单。
我现在甚至都不会推荐ufldl

YJango - 在日研究生,人工智能专业

赞同来自:

有线性代数基础的,直接看这个Neural Networks, Manifolds, and Topology
可以帮你理解“why dnn works“,而不仅仅是会用深层学习工具包。

bhj52099

赞同来自:

本科数学,研究生跟着导师通读《统计学习理论》,带入机器学习大门,进公司实习入坑深度学习,UFLDL通读入门,自己动手配置caffe,windows版本,Linux版本都用过,各种net都看一下,拿自己数据跑一下,http://arxiv.org/上的文章也关注一下。入坑已深,无法自拔……

要回复问题请先登录注册