datalayer prefetch queue empty

在训练模型是出现了如上问题,网上查了一下,
 
原因:CPU数据读入慢于GPU计算,导致GPU处于空闲,使得计算速度下降,迭代时间间隔扩大。nvidia-smi显示为:GPU功率不断大幅度变化,GPU电压不稳定。 
可能诱因:服务器同时在进行其他工作,如大规模读写数据(频繁使用IO),数据无法读入;CPU同时进行其他工作,负载极重,无法正常读取数据;CPU内存爆表,所有程序速度变慢。
 
解决办法: 
1 使用lmdb替换txt文件,加快数据读取速度; 
2 避免IO被频繁使用; 
3 可以考虑不加入test.txt
 
但是我想用imagedatalayer直接读入图片,不想用leveldb格式,而且上次用同一台电脑训练是可以的,这次就出现了这个问题,请问除了更换好的CPU和主板以及使用LEVELDB格式的文件还有别的解决方法么?而且我之前没出现这个问题啊
已邀请:

JianZhang

赞同来自:

解决了...可以忽略...等等就好了...

要回复问题请先登录注册