补充下关于softmaxloss和sigmoidcrossentropyloss的区别。
Softmaxloss是caffe里面的说法,softmaxloss实际上是SoftmaxLayer + MultinomialLogisticLossLayer。SoftmaxLoss适合于最经典的分类任务,类别标签中只有1个1,其余全部是零,比如人脸识别,物体分类任务。
但是,对于属性分类任务,类别标签里面有不止1个1,这个时候softmaxloss就不适用了,需要用到SigmoidCrossEntropyLoss。同样的,SigmoidCrossEntropyLoss也是两个层的混合,至于哪两个层,留作小测试。SigmoidCrossEntropyLoss也可以直接回归概率分布(标签的每一维具有概率解释,取值范围是【0,1】),比如在年龄估计当中,我们可以把年龄建用LDL(label distribution label)进行概率建模,然后用SigmoidCrossEntropyLoss进行回归【1】。在文献【1】中,我们还给出了使用EuclideanLoss的一个trick,欢迎大家看文章自己发现。
【1】Xin Liu, Shaoxin Li, Meina Kan, Jie Zhang, Shuzhe Wu, Wenxian Liu, hu Han, Shiguang Shan, Xilin Chen. AgeNet: Deeply Learned Regressor and Classifier for Robust Apparent Age Estimation. ChaLearn Looking at People Workshop on ICCV 2015. (2nd Winner of Apparent Age Estimation).
4 个回复
cjwdeq
赞同来自: 李扬 、yuanyinlove 、Uio96
刘昕_ICT
赞同来自: 李扬 、last_one 、anan1205
Softmaxloss是caffe里面的说法,softmaxloss实际上是SoftmaxLayer + MultinomialLogisticLossLayer。SoftmaxLoss适合于最经典的分类任务,类别标签中只有1个1,其余全部是零,比如人脸识别,物体分类任务。
但是,对于属性分类任务,类别标签里面有不止1个1,这个时候softmaxloss就不适用了,需要用到SigmoidCrossEntropyLoss。同样的,SigmoidCrossEntropyLoss也是两个层的混合,至于哪两个层,留作小测试。SigmoidCrossEntropyLoss也可以直接回归概率分布(标签的每一维具有概率解释,取值范围是【0,1】),比如在年龄估计当中,我们可以把年龄建用LDL(label distribution label)进行概率建模,然后用SigmoidCrossEntropyLoss进行回归【1】。在文献【1】中,我们还给出了使用EuclideanLoss的一个trick,欢迎大家看文章自己发现。
【1】Xin Liu, Shaoxin Li, Meina Kan, Jie Zhang, Shuzhe Wu, Wenxian Liu, hu Han, Shiguang Shan, Xilin Chen. AgeNet: Deeply Learned Regressor and Classifier for Robust Apparent Age Estimation. ChaLearn Looking at People Workshop on ICCV 2015. (2nd Winner of Apparent Age Estimation).
留两个问题:
1. SigmoidCrossEntropyLoss是哪两个层的合称?
2. 为什么 SigmoidCrossEntropyLoss的ground truth标签取值范围必须是【0,1】?
disheng
赞同来自:
anan1205
赞同来自: