公开(公告)号：CN118366195A

公开(公告)日：2024-07-19

申请号：CN202410458227.4

申请日：2024-04-17

Applicant: 长三角信息智能创新研究院

Inventor： 王硕 ,  郝海宏 ,  何向南 ,  郝艳宾 ,  陈钢

IPC: G06V40/16 ,  G06V10/44 ,  G06V10/774 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于多层级双分支时空注意力架构的微表情分类方法，属于视频分类领域。本发明包括以下步骤：1、微表情视频片段帧抽取和划分；2、并行处理获取不同模态数据的特征向量；3、对不同模态数据进行特征融合；4、多层级的模块堆叠；5、在微表情标签监督下输出分类器设计；6、模型训练与测试。本发明探索了多层级时序建模在微表情分类中的作用，挖掘了微表情动作背后的时序信息及其作用，通过对不同模态数据的并行统一处理，然后对不同模态特征向量进行交叉融合，使得微表情中的不同模态的数据相互学习，共同训练，并在多层级结构中提炼出由简单到复杂的语义信息，从而提升了微表情分类的准确度。