为什么会出现过拟合？如何判断？
过拟合与参数量和数据量有着怎样的关系，或者与别的超参数或策略有怎么样联系，与loss有着怎样的关系？
发起人
相关问题
- 出现过拟合的根本原因是什么？
- 如何通过loss曲线判断网络训练的情况
- 编译caffe出现 hdf5.h:没有那个文件或目录
- ipython输入“import caffe”，为何出现这些warnings？
- 训练faster R-CNN出现out of memory的问题如何解决
- 训练过拟合怎么办
- caffe loss accuracy是train集的还是val集的？如何通过loss-accuracy曲线去观察是否过拟合？
- 运行caffe.exe出现如下错误，怎么解决？
- 我在ubuntu 中运行./examples/mnish/create_mnish.sh时出现以下错误，各位知道是什么原因吗？
- 大家好，新人一个。。刚开始学caffe，21天实践caffe中的mnist 实验在windows下尝试，出现以下错误
问题状态
- 最新活动: 2016-04-26 09:20
- 浏览: 1662
- 关注: 7 人
1 个回复
YJango - 在日研究生，人工智能专业
赞同来自: caffe 、月光里的阳光ysu 、ersanqiao 、leemak 、Hzzone
参数可以调节模型强弱。
过拟合就是模型相对于任务而言过于powerful，甚至于连训练数据中的noise都能学习进去，造成了普遍性差，在今后的测试数据中预测效果不理想。和train loss与validation loss的关系是，train loss不断下降，validation loss却不断增加。
克服思路：
不让模型过分学习训练数据的pattern
方法：
1，利用dropout
2，利用L2/L1 regularization
3，调小batch_size
4，搜集更多数据（数据越多，这个问题就越不明显了）