公开(公告)号：CN119600683A

公开(公告)日：2025-03-11

申请号：CN202411665809.6

申请日：2024-11-20

Applicant: 安徽大学

Inventor： 王逍 ,  戎耀 ,  江波

IPC: G06V40/20 ,  G06V40/10 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于状态空间的事件流手语翻译方法，属于手语翻译技术领域，包括以下步骤：输入事件流，将其转化为事件图像，事件图像输入Mamba状态空间模块提取局部‑全局的视觉特征表示；将Mamba状态空间模块最后一层的CNN模块的局部空间特征表示FC与最后一层的全局状态空间特征表示FM输入到Temporal Conv模块中，进行时序特征融合；接着，将融合后的时序特征送入到手语嵌入模块中，进行视觉特征到语言特征的对齐；然后，使用提示模块构造出提示句子，LLM语言模块生成手语语句。本发明通过引入CNN模块和Mamba状态空间模块，能够有效提取数据的局部细节纹理信息同时实现捕捉到数据远距离的依赖关系，使得模型全面充分的提取数据信息，提升模型的性能。