公开(公告)号：CN119942635A

公开(公告)日：2025-05-06

申请号：CN202411922577.8

申请日：2024-12-25

Applicant: 华南理工大学

Inventor： 谭明奎 ,  刘飞 ,  周凯 ,  李奕锐 ,  杨伟好 ,  胡晋武

IPC: G06V40/20 ,  G06V10/44 ,  G06V10/54 ,  G06V10/56 ,  G06V10/62 ,  G06V10/774 ,  G06V10/82 ,  G06N3/042 ,  G06N3/0464

Abstract: 本发明公开了一种吞咽造影视频微动作识别与定位方法及电子设备，其中方法包括：确定吞咽造影视频中的解剖学关键点并提取关键点序列，获取喉部的空间位置和运动趋势，为微动作识别与定位提供结构化指导；提取吞咽造影视频的外观特征；将关键点序列与外观特征进行融合，通过多模态信息互补提升微动作识别与定位模型对细粒度动作的辨别能力；设计动作分类与定位的联合优化策略，预测微动作类别及其时序边界，实现吞咽微动作的精准识别与定位。本发明过融合视频时序特征与解剖学关键点序列信息构建统一分析框架，利用关键点序列引导模型聚焦关键区域和时段，进而实现精准的微动作识别与定位。