公开(公告)号：CN118261236A

公开(公告)日：2024-06-28

申请号：CN202410361776.X

申请日：2024-03-27

Applicant: 北京邮电大学

Inventor： 辛阳 ,  李逍遥 ,  姚良威

IPC: G06N3/098 ,  G06N3/0455 ,  G06N3/0499 ,  G06F18/25 ,  G06F21/62

Abstract: 本专利提出一种面向多模态数据的联邦学习方法，在利用联邦学习隐私保护特性进行多模态学习的同时，针对传统联邦学习方法缺乏对模态缺失情况的鲁棒性问题提出改进方案。该实现过程主要包括，客户端利用多种模态的信息训练本地模型，为了融合不同模态的信息，多模态客户端在传统联邦学习的基础上增加了一个混合注意力网络。客户端训练完成后由服务端聚合客户端上传的本地模型参数，为了降低模态缺失客户端给全局模型带来的影响，服务端会根据包括客户端数据量、客户端模态缺失比例以及缺失模态对任务的贡献在内的三个因素分配客户端的权重，其中模态贡献采用夏普利值作为评价标准。本专利可用于数据敏感场景下的多模态任务。

公开(公告)号：CN115662447B

公开(公告)日：2023-04-07

申请号：CN202211159091.4

申请日：2022-09-22

Applicant: 北京邮电大学

Inventor： 朱洪亮 ,  樊琪 ,  李逍遥 ,  高明成 ,  辛阳

IPC: G10L17/26 ,  G10L25/24 ,  G10L25/51 ,  G06V10/80 ,  G06F18/25

Abstract: 本发明提供一种基于多特征融合的测谎分析方法及装置，所述方法的步骤包括：将采集的音频数据和图像数据分别划分为多个音频子数据和多个图像帧；在多个音频子数据筛选差异音频子数据，在多个图像帧中筛选差异图像帧；确定是否将所述差异图像帧和差异音频子数据融合；若是，则分别获取差异音频子数据的音频参数和差异图像帧的图像参数，构建为第一融合向量，并输入预设的分类器模型中，输出测谎结果；若否，则基于过零率参数和短时能量参数确定构建第二融合向量的音频子数据和图像帧，并将音频子数据的音频参数和图像帧的图像参数构建为第二融合向量，并输入预设的分类器模型中，输出测谎结果。

公开(公告)号：CN115662447A

公开(公告)日：2023-01-31

申请号：CN202211159091.4

申请日：2022-09-22

Applicant: 北京邮电大学

Inventor： 朱洪亮 ,  樊琪 ,  李逍遥 ,  高明成 ,  辛阳

IPC: G10L17/26 ,  G10L25/24 ,  G10L25/51 ,  G06V10/80 ,  G06F18/25

Abstract: 本发明提供一种基于多特征融合的测谎分析方法及装置，所述方法的步骤包括：将采集的音频数据和图像数据分别划分为多个音频子数据和多个图像帧；在多个音频子数据筛选差异音频子数据，在多个图像帧中筛选差异图像帧；确定是否将所述差异图像帧和差异音频子数据融合；若是，则分别获取差异音频子数据的音频参数和差异图像帧的图像参数，构建为第一融合向量，并输入预设的分类器模型中，输出测谎结果；若否，则基于过零率参数和短时能量参数确定构建第二融合向量的音频子数据和图像帧，并将音频子数据的音频参数和图像帧的图像参数构建为第二融合向量，并输入预设的分类器模型中，输出测谎结果。