训练过拟合怎么办

finetune caffenet:train的时候accuracy很快达到1,loss值变的很小,test时准确率在0和1之间振荡,最后网络的准确率和瞎猜差不多,请部参数该怎么调节
已邀请:

Evence

赞同来自: weixing

这是个大问题,你的训练数据有多少呢,还有你是做什么功能的网络呢。如果训练样本太少的话很容易过拟合。

目前我所学习到缓解过拟合的方法:
1.最简单粗暴的方式就是增加数据量,大量的数据,大量大量的数据。
2.加入dropout层,其实也是治标不治本,延长了过拟合的“达成期”,能起到一定的作用。
3.如果是多任务的话,可以尝试某任务loss很小的时候把训练停了,有论文称之为“early stopping”。
4.还看过一篇论文《Network in Network》,提出使用1X1卷积核,同时用全局的average pooling替代FC层,起到缓解过拟合同时减少参数的目的。

要回复问题请先登录注册