多模态统一特征提取方法、装置、设备及介质

    公开(公告)号:CN117370933A

    公开(公告)日:2024-01-09

    申请号:CN202311434500.1

    申请日:2023-10-31

    Abstract: 本发明提供一种多模态统一特征提取方法、装置、设备及介质,该多模态统一特征提取方法包括:获取多模态目标医疗数据;根据目标医疗数据的模态,采用特征提取模型对目标医疗数据执行提取,得到第一特征提取结果;通过第一特征提取结果对缺失特征进行补全,得到第二特征提取结果;对第二特征结果进行融合,得到融合特征;对融合特征进行识别,得到目标医疗数据的医疗特征识别结果。本发明的有益效果为:将多模态数据,通过专家知识的大模型提示工程,诱导大模型产生相应的特征,并进行循环聚合,使不同模态的数据融合成统一的表示,实现了医疗多模态数据间融合和补全,提高了医疗数据特征提取及识别的稳定性和准确性。

    多模态统一特征提取方法、装置、设备及介质

    公开(公告)号:CN117370933B

    公开(公告)日:2024-05-07

    申请号:CN202311434500.1

    申请日:2023-10-31

    Abstract: 本发明提供一种多模态统一特征提取方法、装置、设备及介质,该多模态统一特征提取方法包括:获取多模态目标医疗数据;根据目标医疗数据的模态,采用特征提取模型对目标医疗数据执行提取,得到第一特征提取结果;通过第一特征提取结果对缺失特征进行补全,得到第二特征提取结果;对第二特征结果进行融合,得到融合特征;对融合特征进行识别,得到目标医疗数据的医疗特征识别结果。本发明的有益效果为:将多模态数据,通过专家知识的大模型提示工程,诱导大模型产生相应的特征,并进行循环聚合,使不同模态的数据融合成统一的表示,实现了医疗多模态数据间融合和补全,提高了医疗数据特征提取及识别的稳定性和准确性。

    基于个性化联邦学习的DFU医学图像分类方法及系统

    公开(公告)号:CN116935143B

    公开(公告)日:2024-05-07

    申请号:CN202311035070.6

    申请日:2023-08-16

    Abstract: 本发明提供一种基于个性化联邦学习的DFU医学图像分类方法及系统,该方法包括如下步骤:参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像;客户端基于卷积神经网络构建图像分类模型;中央服务器将预设的分类器模块参数传递至客户端;客户端基于分类器模块参数更新分类器模块;客户端利用DFU图像样本集训练图像分类模型,计算得到模型损失和客户端梯度;客户端将客户端梯度上传至中央服务器;中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数;重复训练步骤直至模型损失收敛,得到DFU图像分类模型;客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。本发明通过个性化联邦学习训练的DFU图像分类模型具有较高的分类准确性。

    针对数据异质性的个性化联邦学习方法、系统及存储介质

    公开(公告)号:CN116933866A

    公开(公告)日:2023-10-24

    申请号:CN202311035140.8

    申请日:2023-08-16

    Abstract: 本发明提供一种针对数据异质性的个性化联邦学习方法、系统及存储介质,该方法包括如下步骤:服务端将初始学习模型发送至客户端;服务端根据所有客户端的数据分布相似性对客户端进行聚类,生成客户端的相似性网络图;客户端进行本地迭代训练,得到训练梯度和第一权重参数进行训练更新后的第一更新参数;服务端计算所有客户端上传的第一更新参数的平均值,得到第一平均更新参数;服务端自动更新迭代初始学习模型,并得到第二权重参数更新后的第二更新参数;服务端更新初始学习模型;重复上述步骤直至模型损失函数收敛,得到联邦学习模型。本发明具有在实现个性化联邦学习的基础上不违反客户端隐私保护的效果。

    针对数据异质性的个性化联邦学习方法、系统及存储介质

    公开(公告)号:CN116933866B

    公开(公告)日:2025-03-04

    申请号:CN202311035140.8

    申请日:2023-08-16

    Abstract: 本发明提供一种针对数据异质性的个性化联邦学习方法、系统及存储介质,该方法包括如下步骤:服务端将初始学习模型发送至客户端;服务端根据所有客户端的数据分布相似性对客户端进行聚类,生成客户端的相似性网络图;客户端进行本地迭代训练,得到训练梯度和第一权重参数进行训练更新后的第一更新参数;服务端计算所有客户端上传的第一更新参数的平均值,得到第一平均更新参数;服务端自动更新迭代初始学习模型,并得到第二权重参数更新后的第二更新参数;服务端更新初始学习模型;重复上述步骤直至模型损失函数收敛,得到联邦学习模型。本发明具有在实现个性化联邦学习的基础上不违反客户端隐私保护的效果。

    基于个性化联邦学习的DFU医学图像分类方法及系统

    公开(公告)号:CN116935143A

    公开(公告)日:2023-10-24

    申请号:CN202311035070.6

    申请日:2023-08-16

    Abstract: 本发明提供一种基于个性化联邦学习的DFU医学图像分类方法及系统,该方法包括如下步骤:参与联邦学习的客户端获取DFU图像样本集和待分类DFU图像;客户端基于卷积神经网络构建图像分类模型;中央服务器将预设的分类器模块参数传递至客户端;客户端基于分类器模块参数更新分类器模块;客户端利用DFU图像样本集训练图像分类模型,计算得到模型损失和客户端梯度;客户端将客户端梯度上传至中央服务器;中央服务器结合客户端梯度和预设的先验知识更新分类器模块参数;重复训练步骤直至模型损失收敛,得到DFU图像分类模型;客户端通过DFU图像分类模型完成待分类DFU图像的图像分类。本发明通过个性化联邦学习训练的DFU图像分类模型具有较高的分类准确性。

Patent Agency Ranking