公开(公告)号：CN116612542A

公开(公告)日：2023-08-18

申请号：CN202310571748.6

申请日：2023-05-19

Applicant: 厦门大学

Inventor： 曾鸣 ,  李恒达 ,  郑英林 ,  林宇鑫 ,  宋昊东 ,  张湘君

IPC: G06V40/70 ,  G06V20/40 ,  G06V40/16 ,  G06V10/74 ,  G06V40/20 ,  G06V10/80 ,  G06V10/82 ,  G10L17/02 ,  G10L17/10 ,  G10L17/18 ,  G06N3/0464

Abstract: 本发明公开一种基于多模态生物特征一致性的音视频人物识别方法及系统，涉及人物身份识别领域。本发明利用人脸检测器和人体检测器技术提取人脸区域和人体区域，利用前后景分离技术从人体区域中获取人体剪影；同时，运用深度学习技术，利用人脸识别从人脸区域提取人脸特征，利用步态识别从人体区域提取步态特征，以及利用声纹识别从音频帧中提取声纹特征；进一步利用新颖的多模态筛选方法和多模态一致性计分方法，能够高效利用包括人脸特征、步态特征和声纹特征的多模态信息，更准确地识别人物身份。并且本发明方法尤其适用于复杂场景，如社区治安、公共安全管理和智能家居等场景使用。