公开(公告)号：CN118821900B

公开(公告)日：2025-02-18

申请号：CN202410932383.X

申请日：2024-07-12

Applicant: 安徽大学 ,  安徽医科大学第一附属医院

Inventor： 涂铮铮 ,  古乐 ,  张超学 ,  江波 ,  段亚阳 ,  张迪 ,  汤进

IPC: G06N3/0895 ,  G06N3/0455 ,  G06V10/44 ,  G06F40/126 ,  G06F40/279 ,  G06V10/82 ,  G06F18/25 ,  G16H15/00

Abstract: 本发明公开一种基于视觉‑语言多模态对比学习的超声图像预训练方法，通过单模态局部对比学习与多模态局部对比学习实现特征对齐，并创造性地提出自监督预训练方法，该方法使用医学超声图像数据与诊断报告文本数据学习输入图像和报告文本的单模态和多模态特征表示，利用单模态对比损失与多模态对比损失对齐图像与文本特征。本发明考虑到超声图像与诊断报告的特点，本发明采用局部对比学习的方式来细粒度对齐图像与文本特征。本发明以掩码语言建模和图像文本匹配作为预训练目标进行预训练。

公开(公告)号：CN118821900A

公开(公告)日：2024-10-22

申请号：CN202410932383.X

申请日：2024-07-12

Applicant: 安徽大学 ,  安徽医科大学第一附属医院

Inventor： 涂铮铮 ,  古乐 ,  张超学 ,  江波 ,  段亚阳 ,  张迪 ,  汤进

IPC: G06N3/0895 ,  G06N3/0455 ,  G06V10/44 ,  G06F40/126 ,  G06F40/279 ,  G06V10/82 ,  G06F18/25 ,  G16H15/00

Abstract: 本发明公开一种基于视觉‑语言多模态对比学习的超声图像预训练方法，通过单模态局部对比学习与多模态局部对比学习实现特征对齐，并创造性地提出自监督预训练方法，该方法使用医学超声图像数据与诊断报告文本数据学习输入图像和报告文本的单模态和多模态特征表示，利用单模态对比损失与多模态对比损失对齐图像与文本特征。本发明考虑到超声图像与诊断报告的特点，本发明采用局部对比学习的方式来细粒度对齐图像与文本特征。本发明以掩码语言建模和图像文本匹配作为预训练目标进行预训练。