公开(公告)号：CN120045701A

公开(公告)日：2025-05-27

申请号：CN202510100951.4

申请日：2025-01-22

Applicant: 浙江大学

Inventor： 潘炀 ,  任沁源 ,  邵之江

IPC: G06F16/34 ,  G06F40/30 ,  G06F18/22 ,  G06F18/25 ,  G06V20/52 ,  G06V20/40 ,  G06V40/16 ,  G10L15/22 ,  G10L17/02 ,  G10L17/18 ,  G06T7/73 ,  G01S5/18 ,  G06N3/0464 ,  G06N3/045 ,  G06F123/02

Abstract: 本发明公开了一种基于多源异构信息融合的会议纪要自动生成方法，包括：利用人脸识别技术提取发言者面部特征并识别其人脸身份；通过麦克风阵列获取音频信号，利用声纹识别技术识别发言者声纹身份；结合视频和音频信息，通过多源异构信息融合技术：在时间上进行视频和音频数据的对齐；通过音源定位技术，在空间上将声纹身份和人脸身份进行匹配对齐，精确定位并识别发言者身份；对发言人和发言内容进行标定与分离，确保发言人身份与发言内容的准确匹配；利用自然语言处理和深度学习模型，根据标定后的发言内容生成发言人摘要及会议纪要。该方法适用于各类会议场景，能够识别不同发言人的发言内容，生成发言人摘要，提高会议纪要生成的效率和准确性。