基本信息:
- 专利标题： 一种基于深度学习的动作识别方法
- 申请号：CN202010167013.3 申请日：2020-03-11
- 公开(公告)号：CN111401209B 公开(公告)日：2023-11-07
- 发明人： 张宏 , 叶汉京 , 何力 , 管贻生 , 黄兴鸿 , 陈广诚
- 申请人： 佛山市南海区广工大数控装备协同创新研究院 , 佛山市广工大数控装备技术发展有限公司
- 申请人地址： 广东省佛山市高新区产业智库城;
- 专利权人： 佛山市南海区广工大数控装备协同创新研究院,佛山市广工大数控装备技术发展有限公司
- 当前专利权人： 佛山市南海区广工大数控装备协同创新研究院,佛山市广工大数控装备技术发展有限公司
- 当前专利权人地址： 广东省佛山市高新区产业智库城;
- 代理机构： 广东广信君达律师事务所
- 代理人： 江金城
- 主分类号： G06V40/20
- IPC分类号： G06V40/20 ; G06V20/40 ; G06V10/774 ; G06V10/82 ; G06N3/0464 ; G06N3/044
摘要：
本发明公开了一种基于深度学习的动作识别方法，包括如下步骤：对视频帧F进行提取，划分为T*16帧；对每16帧fi进行光流提取得到相应光流图；利用多尺度的3D卷积神经网络分别对连续的16帧RGB图和光流图进行特征提取，分别得到两个特征向量xoriginal和xoptical；将获得的两个特征向量串联在一起得到特征向量xi，维度为d1；重复上述步骤并行处理T次，最终得到一个维度为(d1,T)的特征矩阵X；通过一个以注意力机制为核心构建的一个网络，得到权值矩阵A；将权值矩阵A代入公式M＝A*XT获得新的特征矩阵M；将新的特征矩阵M输入至LSTM网络，再经过全连接层的降维，得到特征向量Xfinal；最后利用softmax进行分类，取最大值对应的类别为所识别的动作类别。
公开/授权文献:
- CN111401209A 一种基于深度学习的动作识别方法 公开/授权日：2020-07-10