无监督学习是否被监督学习取代了?

刚刚接触深度学习,看到最近的一些文章都是在用监督学习,比如用CNN做图像分类等。是不是无监督学习过时了?无监督学习有哪些适用的场合?
谢谢~
已邀请:

辛淼 - CaffeCN社区创始人。北航PhD,目前在哈佛大学工作。

赞同来自: alex68 MrWang_ 李扬 ZhangXu 王蒙蒙 烟消云散的猫 SunLoveDL lalianhaizai更多 »

 
弱答楼主问题,我想说两点:
1. 无监督仍然是未来的方向;
2. label的作用和优势目前仍是无法替代的。
前期的一些研究利用无监督学习来做网络初始化,缓解多层深度网络的梯度弥散问题。无监督学习在十年前这波DNN浪潮的初期起到了推波助澜的作用,在当时的情况下,逐层无监督预训练使得深度网络的训练有了可能。但这不是解决梯度弥散问题的根本办法,随着新一代激活函数的出现和网络初始化方法的出现,现在少有用无监督做初始化的工作了,尤其是在一些有标注的库上面。
有了解决梯度弥散问题的根本解决办法,一些监督学习方法(比如层数非常深的DCNN)才有了施展威力的可能。label提供的监督信息的优势是无法替代的,加之由于一些大规模标注库的出现,无监督方法在这些库上的测试性能往往比不过监督方法。从时间成本上说,达到相同的性能,无监督所需的数据和训练时间往往更多。因此是用时间做标注还是用时间做训练,这是一个值得思考的问题,目前来看大家更倾向于做标注,或是少量标注结合大量数据(半监督)。
然而,数据是无穷尽的,而且是快速增长的,标注数据永远赶不上新型数据出现的速度,如何利用无标注数据,这是大家一直在努力的方向。
 
以上。

刘昕_ICT

赞同来自: SunLoveDL

我建议关注半监督学习,少量的监督数据,和大量无监督样本。

要回复问题请先登录注册