如何减少网络参数

我的目的是想在测试阶段加快提取图片特征的时间,因此想减少网络的参数。请问各位有什么好的方法吗?
已邀请:

alex68 - 一般不扯淡~

赞同来自: 月光里的阳光ysu

可以对网络做剪枝,搜一下相关的论文吧
可以用一些替代全连接层的网络结构,比如FCN

土拨鼠翻翻土

赞同来自:

我觉得测试的话,用小一点的训练集,resize小一点,等模型收敛了,再换大图、多一点图、dropout吧

爱在路上 - 想成为菜鸟中的战斗机

赞同来自:

DSD稀疏训练方法,先剪枝训练,再用哈夫曼压缩

haddis3

赞同来自:

你可以看一看paper——《network in network》的工作,里面用到了1*1卷积核提取特征和GAP层代替全连阶层可以降低训练参数。(作者之一是颜水成博士,可自行百度)

zhangs

赞同来自:

Song Han的一系列论文,例如:
SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and $<$0.5MB model size
Deep compression

玉清元始天尊 - 虚无自然大罗三清三境三宝天尊

赞同来自:

我实验时SqueezeNet之类的思路对精度影响比较大,基于Distilling的方法效果更好fitnets net2net等

要回复问题请先登录注册