vgg_face的调优工作

我通过vgg_face的model进行网络参数的初始化,然后通过同样的triplet方式进行fine-tune但是出现了一个问题——loss并不收敛。网络最后collapsed,所有的输出都变成了0,就是paper中描述的没有进行semi-hard的约束筛选样本情况。但是在进行了训练样本的筛选后,依旧还是出现同样的问题,是否是因为本来就已经收敛的较好的model,再fit新的数据的时候其实已经是比较好了,所以loss下降只能调整整体的参数?但是从我得到的情况看,事实上并没有拟合的很好啊,反而更像是欠拟合。求大神指教
已邀请:

antares_tcguo

赞同来自: seallhf Banggui02

虽然我没有用过VGG的face网络,不过自己实现了也试了一下tripletloss。感觉这个东西非常依赖三元组对的选取,所以不收敛是件太正常的事情了~感觉如何选取三元组对还需要狠下一些功夫,这些应该属于trick范畴,也是调参的精华所在,一般paper里都不说,所以只能祝福楼主。
p.s.我周围用tripletloss的,都没有完美复现别人工作的例子,虽然tripletloss的理论上很不错,但是……恩……

seallhf

赞同来自:

太惨了没有人回答,只能默默地自己回答了,请调参

Machine

赞同来自:

楼主,后来你怎么决解这个不收敛问题的啊?我也遇到同样问题了

zjwzcnjsy

赞同来自:

finetune只是调整最后新加的层,而且这层没有bias的。

Andybert

赞同来自:

楼主,你的问题解决了吗?我也是在别人网络的基础上,将原网络的目标函数softmax with loss换成了triplet loss,三元组的构建采用facenet中提到的semi hard方法。网络训练一段时间后,loss值下降的非常缓慢(高度震荡中缓慢的下降),准确率上升到18%左右就一直在震荡,无法继续上升。请问楼主知道原因吗?谢谢!

数学爱好者26 - it男

赞同来自:

能用这个模型做人脸关键点定位吗?

要回复问题请先登录注册