如何通过loss曲线判断网络训练的情况

在训练网络的时候,是如何通过loss曲线来判断网络的训练情况的呢?当训练的loss曲线趋近于平稳时,怎么判断我们需不需要继续训练?如果需要,有什么方法能让其继续收敛呢?谢谢。
已邀请:

zeakey - please visit my homepage: zhaok.xyz

赞同来自: caffe

单独的 loss 曲线能提供的信息很少的,一般会结合测试机上的 accuracy 曲线来判断是否过拟合.
 
如果你的 learning_rate_policy 是 step 或者其他变化类型的话, loss 曲线可以帮助你选择一个比较合适的 stepsize.

刘昕_ICT

赞同来自: 李扬

以下loss都指训练集loss。 如果loss趋于平稳,但是没有降到足够低(例如,0.0x这个数量级),随着learning rate的进一步降低,loss还可能继续减小。如果网络训练已经完成,但loss依旧较大,这可能表示迭代次数不够,可以设置一个较小的base_lr, 比如0.001或者0.0001在当前网络基础上做finetune. 
 

辛淼 - CaffeCN社区创始人。北航PhD,目前在哈佛大学工作。

赞同来自:

关键是要看你在测试集上的acc如何

要回复问题请先登录注册