caffe训练,我加了两块显卡(gtx970),可是发现caffe训练并未提速,加了等于没加

系统:ubuntu 14.04 , 64位桌面版本
硬件:两块gtx970(影驰名人堂gtx970和玩家定制gtx970)
我用上面的配置进行caffe图片训练,可是发现双显卡和单显卡速度几乎是一样的,请高手指点我如何做才能使的我图片训练速度提升?
已邀请:

星空下的巫师 - https://github.com/shicai/Caffe_Manual

赞同来自: zjwzcnjsy dkos_dk austingg 臂力吧啦

简单说下。
假设你的batch size是32,你单卡,每次迭代处理的就是32张图像。
你现在换了两卡,并行处理,你实际上每次迭代处理的图像就是64张。
训练速度的提升,体现在每次迭代的loss下降更多,收敛更快。
也就是说,以前可能需要100万次迭代才能收敛,现在可能50-70万次就可以了。
所以从这个角度说,训练时间缩短了,训练速度提升了。

zjwzcnjsy

赞同来自: dkos_dk

减小batch_size了没?

dkos_dk

赞同来自:

您好,非常感谢您的回答,目前没有调节batch_size,能否给我讲讲batch_size的实际使用中的作用,谢谢!!

tracycw

赞同来自:

请问单机多卡训练需要注意些什么?
我用的是4卡gtx1080,cuda8.0,但是训练一直报错:
F0917 18:33:28.226620  6169 math_functions.cu:375] Check failed: status == CURAND_STATUS_SUCCESS (201 vs. 0)  CURAND_STATUS_LAUNCH_FAILURE

看到nvidia官方解释说:是因为执行随机数生成函数时候,内核启动失败。请问你有遇到这种情况吗?

要回复问题请先登录注册