论文推荐 《Distilling the Knowledge in a Neural Network》

论文介绍了如何用小规模网络去达到深层网络的效果。
 《Distilling the Knowledge in a Neural Network》
 
Geoffrey Hinton Oriol Vinyals Jeff Dean
已邀请:

辛淼 - CaffeCN社区创始人

赞同来自: YJango seallhf 佛仙魔

顶一个,二值网络的研究也挺有意思,推荐NEURAL NETWORKS WITH FEW MULTIPLICATIONS,虽然它的idea不是为了用小网络去拟合大网络,但是也起到了降计算量的作用,尤其适合一些计算力差的微型设备上使用。

seallhf

赞同来自:

最近刚刚好在看这个,顶一个

renjialun

赞同来自:

这么有名的文章,回复的人好少啊

佛仙魔 - 吃饭睡觉小能手 ^_^Y

赞同来自:

问下,关于检测问题,Distill有什么思路么?
如果用到多个特征层作输出的,distill的时候,如何把所有输出作为soft target?

要回复问题请先登录注册