caffe怎么做动作的识别?

请教各位大神,怎么利用caffe对一个动作进行识别,例如摇头、挥手等这些动作?
已邀请:

辛淼 - CaffeCN社区创始人

赞同来自: yxyuni deeppose qt060101 huaxu

action recognition的关键是action representation
其实在action representation方面,deep feature曾经一直打不过hand-crafted feature,原因有很多也很有争议性,这里不展开说。hand-crafted中最有代表性的方法就是DT和iDT:
【2011 CVPR】(DT) Action recognition by dense trajectories
【2013 ICCV】 (iDT) Action Recognition with Improved Trajectories
以及各种改进方法。
深度模型在大规模运动数据集上(比如UCF101、Sport1M等)取得较好结果,基本上是从Zisserman组的two-stream模型开始的,其中最重要的思想就是在传统深度模型中加入运动信息嵌入。使用深度模型提取action特征,题注可以看一下这几篇文章:
【2013 PAMI】3D Convolutional Neural Networks for Human Action Recognition
【2014 NIPS】Two-Stream Convolutional Networks for Action Recognition in Videos
【2015 NYU】C3D Generic Features for Video Analysis
【2015 CVPR】Action Recognition with Trajectory-Pooled Deep-Convolutional Descriptors
在action representation问题中使用深度模型,我个人认为最最要的一点是基于先验的网络模型设计(可以参考two-stream),这也是为什么直接用各种CNN模型做fine-turning并不不能取得好结果的原因。与一些问题不同的是,action recogniton不是一个单纯的问题,如果想要做的好,需要在特征描述、目标识别、图像理解等很多方面有广泛的知识。题注可以看看这篇综述:
【2011 CSUR】Human activity analysis _ A review
 

要回复问题请先登录注册