公开(公告)号：CN111899855B

公开(公告)日：2024-04-26

申请号：CN202010686882.7

申请日：2020-07-16

Applicant: 武汉大学 ,  鹏城实验室

Inventor： 李文海 ,  魏骁勇 ,  庞磊 ,  陶坤 ,  江佳翼

IPC: G16H40/20 ,  G16H10/60 ,  G06Q50/26 ,  G06F16/909 ,  G06F16/903 ,  G06F16/248 ,  G06F16/2455 ,  G06F16/22

Abstract: 本发明针对个体健康数据与公共卫生数据的关联可视化，提供一种个体健康与公共卫生数据时空聚集可视化构建方法及平台。引入半结构化建模方法构建个体健康数据的可扩展描述框架，基于通用POI的地名和空间字段构建不同粒度和不同质量的地址映射信息，并基于个人健康设备采集的位置信息周期性地更新用户的地址信息，采用文本相似匹配实现个体健康和公共卫生数据的空间信息标准化，使得不同来源的个体健康和公共卫生数据能够统一呈现于主流三维GIS平台上。本发明能根据普通的地址文本对健康医疗数据进行空间化转换、能够对不同类型、不同级别的健康医疗数据进行统一时空关联和时空聚集可视化。

公开(公告)号：CN111899855A

公开(公告)日：2020-11-06

申请号：CN202010686882.7

申请日：2020-07-16

Applicant: 武汉大学 ,  鹏城实验室

Inventor： 李文海 ,  魏骁勇 ,  庞磊 ,  陶坤 ,  江佳翼

IPC: G16H40/20 ,  G16H10/60 ,  G06Q50/26 ,  G06F16/909 ,  G06F16/903 ,  G06F16/248 ,  G06F16/2455 ,  G06F16/22

Abstract: 本发明针对个体健康数据与公共卫生数据的关联可视化，提供一种个体健康与公共卫生数据时空聚集可视化构建方法及平台。引入半结构化建模方法构建个体健康数据的可扩展描述框架，基于通用POI的地名和空间字段构建不同粒度和不同质量的地址映射信息，并基于个人健康设备采集的位置信息周期性地更新用户的地址信息，采用文本相似匹配实现个体健康和公共卫生数据的空间信息标准化，使得不同来源的个体健康和公共卫生数据能够统一呈现于主流三维GIS平台上。本发明能根据普通的地址文本对健康医疗数据进行空间化转换、能够对不同类型、不同级别的健康医疗数据进行统一时空关联和时空聚集可视化。

公开(公告)号：CN118734976B

公开(公告)日：2024-12-17

申请号：CN202411224705.1

申请日：2024-09-03

Applicant: 鹏城实验室

Inventor： 王耀威 ,  董晓 ,  梁小丹 ,  余建兴 ,  蒋冬梅 ,  魏骁勇

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/25 ,  G06F40/30

Abstract: 本发明公开了一种基于梯度自校准的多模态预训练方法、系统、终端及存储介质，本发明利用混合模态交互网络，让针对于特定模态的与任务无关的损失函数来学习一个统一模态交互模块的梯度，根据不同模态梯度方向间的差异来确定哪些模态间的差异较小；使用这些差异较小的模态数据在共享编码器上面的组合梯度作为构建的正梯度方向，以该梯度方向来修正其余模态梯度的方向；根据修正后的模态梯度方向，将对应模态在该共享编码器上的参数在方向传播更新前，提前进行更新，从而达到平衡模态训练的目的，使用混合transformer网络结构来提取不同模态数据的融合特征，使用模态梯度自校准模块来修正不同模态针对联合编码器的梯度下降方向，提升不同模态融合表征的效果。

公开(公告)号：CN118734976A

公开(公告)日：2024-10-01

申请号：CN202411224705.1

申请日：2024-09-03

Applicant: 鹏城实验室

Inventor： 王耀威 ,  董晓 ,  梁小丹 ,  余建兴 ,  蒋冬梅 ,  魏骁勇

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08 ,  G06F18/25 ,  G06F40/30

Abstract: 本发明公开了一种基于梯度自校准的多模态预训练方法、系统、终端及存储介质，本发明利用混合模态交互网络，让针对于特定模态的与任务无关的损失函数来学习一个统一模态交互模块的梯度，根据不同模态梯度方向间的差异来确定哪些模态间的差异较小；使用这些差异较小的模态数据在共享编码器上面的组合梯度作为构建的正梯度方向，以该梯度方向来修正其余模态梯度的方向；根据修正后的模态梯度方向，将对应模态在该共享编码器上的参数在方向传播更新前，提前进行更新，从而达到平衡模态训练的目的，使用混合transformer网络结构来提取不同模态数据的融合特征，使用模态梯度自校准模块来修正不同模态针对联合编码器的梯度下降方向，提升不同模态融合表征的效果。

公开(公告)号：CN120068973A

公开(公告)日：2025-05-30

申请号：CN202510535064.X

申请日：2025-04-27

Applicant: 鹏城实验室

Inventor： 蒋冬梅 ,  黄思宏 ,  魏骁勇 ,  王耀威 ,  蔡毅 ,  胡孟豪 ,  梁达勇 ,  曾雨诗

IPC: G06N3/08 ,  G06F18/25 ,  G06F18/214 ,  G06F18/2113 ,  G06N3/045

Abstract: 本申请实施例提出的多模态识别模型训练方法、多模态数据识别方法及相关设备，方法包括：获取多条多模态训练样本对；基于多模态识别模型中的多粒度输出模型，将每条多模态训练样本对进行第一特征提取和第二特征提取，得到对应处理粒度不同的第一特征数据和第二特征数据，将每个第一特征数据和对应的第二特征数据进行混合处理，得到多粒度混合输出；基于多模态识别模型中的特征级混合模型，将每条多模态训练样本对进行特征级混合处理，得到每条多模态训练样本对应的特征级混合输出；基于多粒度混合输出和特征级混合输出计算得到多模态损失，并基于多模态损失对多模态识别模型进行更新，有效地提高多模态数据的识别精准性。