Check failed: error == cudaSuccess (9 vs. 0) invalid configuration argument

请教一下,我训练了400张图片,测试100张图片,但是训练的时候出现了这样的错误,当我把batch_size调低时出现了out of memory的错误提醒。然后把batch_size调成1时出现了如上错误,怎么办,另外问一下调整batch_size时。是要两处都调整吗?
已邀请:

phoenixbai

赞同来自: leemak 木易ffenjoy

这个似乎是GPU的compute capability < 3.0时,caffe 去获取blocks数,超过了它能承受的范围 导致的。
这个虽然是相同的错,但不同的layer因不同的原因都有可能会报这个错。
有的图片太大导致的,有的是参数太多导致的,都有可能。
所以,具体问题具体分析,要看挂在哪个layer上才能找到对应的解决方法。
豪的方法就是换显卡,必然解决了。不豪的,可能要调整网络结构中的参数来尝试了。
 

Evence

赞同来自: 木易ffenjoy

你的显卡显存多大呢。我也遇到过batch_size设置为1都跑不了的问题。从显存4G的GTX980显卡换到显存12G的titan才能跑batch_size为8的训练。或许换一张大一点的显卡你的问题就解决了。

leemak

赞同来自:

遇到同样的问题,不知道问题解决没有?
还是显卡硬件的问题?

要回复问题请先登录注册