faster rcnn训练问题

训练使用VGG16训练VOC2007数据，但是模型一直不收敛，这个截图显示的LOSS变化一直剧烈波动，没有平稳收敛的趋势。
使用ZF训练了一次但是MEAN AP只有9%，单类最高AP也只有14%。没有修改训练参数或是代码，按照21类进行训练。求助！！！！