增加Batch Normalization层会增加运算时间吗?

如题,如果我在第一层加上Batch Normalization 和scale层,会不会对速度有影响?还是基本不影响速度?
已邀请:

alex68 - 一般不扯淡~

赞同来自: 陶潜水 c408550969

会增加计算时间,但是在达到同样的精度条件下,总的train时间会减少。
在predicate时候几乎可以忽略不计。

骑着大鹅来兜风 - CV方向

赞同来自:

多做了计算必然会增加运算时间,但是,使用BN可以设置更大的学习率,收敛速度更快,比如你原来需要20w次迭代才能收敛,现在可能只需要5w次,这样总时间减少了。

要回复问题请先登录注册