Two Stage Detection中RPN的调参技巧？

在RFCN的rpn中尝试更多组scale和ratio，精度会上升。但是在faster rcnn的rpn中尝试更多组的scale和ratio，精度反而会下降，请问各位大神在rpn这块有什么调参技巧和经验可以分享一下么？