基于深度学习的视频UCL语义标引方法与装置

摘要

本发明公开了一种基于深度学习的UCL语义标引方法与装置。首先利用神经网络提取视频低层语义特征；然后，基于特征灵活采样以及注意力机制，对视频自然语言描述生成模型S2VT进行改进，生成S2VT‑FFSA模型，此模型以视频低层语义特征作为输入，输出视频自然语言描述特征，并结合语音自然语言描述特征生成视频关键词等高层语义特征，一定程度上解决了语义特征提取不充分的问题；最后，利用UCL能够标引丰富语义特征的特点，提出视频内容的UCL标引方法，使视频标引更加规范化。本发明既能精确地抽取视频丰富的语义特征，又能客观、规范地标引这些特征。