为什么会出现过拟合?如何判断?

过拟合与参数量和数据量有着怎样的关系,或者与别的超参数或策略有怎么样联系,与loss有着怎样的关系?
已邀请:

YJango - 在日研究生,人工智能专业

赞同来自: caffe 月光里的阳光ysu ersanqiao leemak

过拟合和模型的强弱有关。
参数可以调节模型强弱。
过拟合就是模型相对于任务而言过于powerful,甚至于连训练数据中的noise都能学习进去,造成了普遍性差,在今后的测试数据中预测效果不理想。和train loss与validation loss的关系是,train loss不断下降,validation loss却不断增加。

克服思路:
不让模型过分学习训练数据的pattern

方法:
1,利用dropout
2,利用L2/L1 regularization
3,调小batch_size
4,搜集更多数据(数据越多,这个问题就越不明显了)

要回复问题请先登录注册