为什么caffe的lstm层不起作用

我是想用VGG+LSTM做一个视频序列的重识别，就是比如说给连续10帧某个人的检测，问你第十一帧检测是否还是这个人。但是我在测试的时候发现，无论我输入的图像是什么lstm都不产生记忆功能，具体来说，我将同一张图片连续重复10次做成一个batch，输入网络中，结果从lstm的输出端输出了10个一样的向量。。这可能是什么原因？
 
我的网络细节是：对于视频序列，VGG输出一个500维向量传入lstm，lstm输出一个128维向量。对于检测帧，VGG直接输出128维向量，然后把lstm的和这个向量合并(256维)，之后直接一个全连接(256*2)判断是否是同一个人
 
这是我的train.prototxt，deploy.prototxt，inferance.cpp 代码写的丑，但感觉实现应该没问题。。(很虚)
 
再次先谢谢各位大佬了，我真的快被搞疯了。。。