公开(公告)号：CN118692632A

公开(公告)日：2024-09-24

申请号：CN202410705138.5

申请日：2024-06-03

Applicant: 安徽大学 ,  安徽中医药大学第一附属医院(安徽省中医院) ,  安徽医科大学

Inventor： 江波 ,  高馨越 ,  万茜茜 ,  王逍 ,  李天成 ,  张鑫 ,  李传富 ,  曹明伟 ,  汤进

IPC: G16H30/00 ,  G16H15/00 ,  G06F18/24 ,  G06F18/214 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06F17/16 ,  G06F17/18

Abstract: 本发明公开一种基于中文大语言模型的医学影像质量控制方法，先使用基于自监督学习的掩码自编码器对视觉编码器进行预训练，使用包含标签的医学影像对模型进行微调，将医学影像输入到预训练的视觉编码器中，得到视觉特征，将影像描述作为文本提示输入基于中文大语言模型的文本编码器中，得到文本特征，将两个特征投射为相同尺寸再进行拼接，得到最终特征，将最终特征输入到使用高效微调方法(LoRA)的中文大语言模型中，得到质量控制报告，进行实体提取，再对实体进行编码，计算其与真实标签编码之间的距离，采用对比学习进行微调。本发明能够用于对2D和3D医学影像进行质量控制。