solver.prototxt参数

参数调节很遥远 发表了文章 • 1 个评论 • 23 次浏览 • 1 天前 • 来自相关话题

####参数设置###################

1. ####训练样本###

总共:121368个
batch_szie:256
将所有样本处理完一次(称为一代,即epoch)需要:121368/256=475 次迭代才能完成
所以这里将test_interval设置为475,即处理完一次所有的训练数据后,才去进行测试。所以这个数要大于等于475.
如果想训练100代,则最大迭代次数为47500;


2. ####测试样本###
同理,如果有1000个测试样本,batch_size为25,那么需要40次才能完整的测试一次。 所以test_iter为40;这个数要大于等于40.

3. ####学习率###
学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代47500次,我们将变化5次,所以stepsize设置为47500/5=9500,即每迭代9500次,我们就降低一次学习率。

 


####参数含义#############

net: "examples/AAA/train_val.prototxt"   #训练或者测试配置文件
test_iter: 40   #完成一次测试需要的迭代次数
test_interval: 475  #测试间隔
base_lr: 0.01  #基础学习率
lr_policy: "step"  #学习率变化规律
gamma: 0.1  #学习率变化指数
stepsize: 9500  #学习率变化频率
display: 20  #屏幕显示间隔
max_iter: 47500 #最大迭代次数
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减
snapshot: 5000 #保存模型间隔
snapshot_prefix: "models/A1/caffenet_train" #保存模型的前缀
solver_mode: GPU #是否使用GPU



stepsize不能太小,如果太小会导致学习率再后来越来越小,达不到充分收敛的效果。 查看全部
####参数设置###################

1. ####训练样本###

总共:121368个
batch_szie:256
将所有样本处理完一次(称为一代,即epoch)需要:121368/256=475 次迭代才能完成
所以这里将test_interval设置为475,即处理完一次所有的训练数据后,才去进行测试。所以这个数要大于等于475.
如果想训练100代,则最大迭代次数为47500;


2. ####测试样本###
同理,如果有1000个测试样本,batch_size为25,那么需要40次才能完整的测试一次。 所以test_iter为40;这个数要大于等于40.

3. ####学习率###
学习率变化规律我们设置为随着迭代次数的增加,慢慢变低。总共迭代47500次,我们将变化5次,所以stepsize设置为47500/5=9500,即每迭代9500次,我们就降低一次学习率。

 


####参数含义#############

net: "examples/AAA/train_val.prototxt"   #训练或者测试配置文件
test_iter: 40   #完成一次测试需要的迭代次数
test_interval: 475  #测试间隔
base_lr: 0.01  #基础学习率
lr_policy: "step"  #学习率变化规律
gamma: 0.1  #学习率变化指数
stepsize: 9500  #学习率变化频率
display: 20  #屏幕显示间隔
max_iter: 47500 #最大迭代次数
momentum: 0.9 #动量
weight_decay: 0.0005 #权重衰减
snapshot: 5000 #保存模型间隔
snapshot_prefix: "models/A1/caffenet_train" #保存模型的前缀
solver_mode: GPU #是否使用GPU



stepsize不能太小,如果太小会导致学习率再后来越来越小,达不到充分收敛的效果。

添加precision-recall-loss层报错

参数调节ciel咖啡小白 回复了问题 • 2 人关注 • 2 个回复 • 39 次浏览 • 3 天前 • 来自相关话题

LSTM的序列信息中是如何加入BOS和EOS的

回复

参数调节一路基石 发起了问题 • 1 人关注 • 0 个回复 • 59 次浏览 • 3 天前 • 来自相关话题

Deep Learning Book目标函数泰勒二次展开的公式问题

回复

无间空道 发起了问题 • 1 人关注 • 0 个回复 • 39 次浏览 • 3 天前 • 来自相关话题

有没有人做过CNN网络模型的剪枝或者其他缩减模型的方法?

攻城卒子 回复了问题 • 5 人关注 • 2 个回复 • 961 次浏览 • 6 天前 • 来自相关话题

caffe hinge loss 的实现

zhankongyue 回复了问题 • 4 人关注 • 1 个回复 • 553 次浏览 • 2017-05-13 09:57 • 来自相关话题

如何优化网络中某一层的参数?

回复

HelloDL 发起了问题 • 1 人关注 • 0 个回复 • 103 次浏览 • 2017-05-08 17:18 • 来自相关话题

caffe中mirror(镜像)参数的作用

参数调节Irving 回复了问题 • 4 人关注 • 6 个回复 • 1464 次浏览 • 2017-05-07 15:09 • 来自相关话题

在一个已有网络的末端再加一层全连接层,该如何微调?

参数调节Evence 回复了问题 • 2 人关注 • 2 个回复 • 122 次浏览 • 2017-05-06 09:35 • 来自相关话题

深度学习训练过程疑问

B-Kalasiky 回复了问题 • 1 人关注 • 1 个回复 • 176 次浏览 • 2017-05-05 13:00 • 来自相关话题

faster rcnn 中rpn网络谁能讲讲精髓?

hunterlew 回复了问题 • 5 人关注 • 2 个回复 • 1643 次浏览 • 2017-05-01 23:40 • 来自相关话题

在bantu16.04中配置caffe,make 出现错误。

回复

roselily 发起了问题 • 1 人关注 • 0 个回复 • 123 次浏览 • 2017-04-27 15:45 • 来自相关话题

关于模型加速的方法

回复

大规模优化Machine 发起了问题 • 1 人关注 • 0 个回复 • 134 次浏览 • 2017-04-26 10:02 • 来自相关话题

Faster RCNN 里RPN部分的bounding box回归可不可以去掉呢?

回复

burgerk 回复了问题 • 1 人关注 • 1 个回复 • 181 次浏览 • 2017-04-23 07:08 • 来自相关话题

关于训练集和验证集的loss和acc

回复

NeverMore 发起了问题 • 1 人关注 • 0 个回复 • 139 次浏览 • 2017-04-20 15:35 • 来自相关话题

7*7*3输入,经过两个3*3*3filter的卷积(步幅为2),得到了3*3*2的输出,为什么?

回复

爱在路上 回复了问题 • 1 人关注 • 1 个回复 • 121 次浏览 • 2017-04-20 11:18 • 来自相关话题

在用fcn32s做图像分割的时候,loss总是-ln(1/num_output)不变,是哪一步出了问题?

参数调节feynman 回复了问题 • 4 人关注 • 3 个回复 • 539 次浏览 • 2017-04-20 10:16 • 来自相关话题

caffe loss不收敛

参数调节feynman 回复了问题 • 3 人关注 • 3 个回复 • 281 次浏览 • 2017-04-20 10:16 • 来自相关话题

网络中的层组合究竟是什么原理?

回复

mabixxoo 发起了问题 • 0 人关注 • 0 个回复 • 154 次浏览 • 2017-04-13 18:05 • 来自相关话题