Caffe做分类问题，所有的样本都被分做一类

用caffe做视网膜图像的分类实验，数据集共分为5类，总共训练数据集有8w多个样本，每类样本基本均衡。测试数据集约为500，每类100个样本。

现在遇到的问题是，在做微调时，如果是浅层网络（ImageNet），会有一定的分类结果，分类正确率大约在50%左右，训练集的loss是下降的，但是测试集的loss不下降；但是如果使用较深层网络（VGG16），所有的数据集被分作是一类，准确率就是20%，而且loss不下降，一直在1.5左右徘徊。请问这个问题要怎么解决？

这个问题已经困扰我好久了，一直没有解决，诚邀回答。