梯度下降中迭代的概念

迭代是什么意思?是一个样本数据集里面的样本反复代入求梯度更新权值还是分成很多个batch,然后一个batch代入称为一次迭代,batch不重复利用?
已邀请:
epoch——使用整个训练样本集传播一次,一次传播 = 一次前向传播 + 一次后向传播。但是考虑到内存不够用的问题,训练样本们往往并不是全都一起拿到内存中去训练,而是一次拿一个batch去训练,一个batch包含的样本数称为batch size。 
iteration——使用batch size个样本传播一次。同样,一次传播=一次前向传播+一次后向传播。
 
eg. 我们有1000个训练样本,batch size为100,那么完成一次epoch就需要10个iteration。
 

要回复问题请先登录注册