-
公开(公告)号:CN118692632A
公开(公告)日:2024-09-24
申请号:CN202410705138.5
申请日:2024-06-03
Applicant: 安徽大学 , 安徽中医药大学第一附属医院(安徽省中医院) , 安徽医科大学
IPC: G16H30/00 , G16H15/00 , G06F18/24 , G06F18/214 , G06N3/0455 , G06N3/0464 , G06N3/0895 , G06F17/16 , G06F17/18
Abstract: 本发明公开一种基于中文大语言模型的医学影像质量控制方法,先使用基于自监督学习的掩码自编码器对视觉编码器进行预训练,使用包含标签的医学影像对模型进行微调,将医学影像输入到预训练的视觉编码器中,得到视觉特征,将影像描述作为文本提示输入基于中文大语言模型的文本编码器中,得到文本特征,将两个特征投射为相同尺寸再进行拼接,得到最终特征,将最终特征输入到使用高效微调方法(LoRA)的中文大语言模型中,得到质量控制报告,进行实体提取,再对实体进行编码,计算其与真实标签编码之间的距离,采用对比学习进行微调。本发明能够用于对2D和3D医学影像进行质量控制。
-
公开(公告)号:CN118821900B
公开(公告)日:2025-02-18
申请号:CN202410932383.X
申请日:2024-07-12
Applicant: 安徽大学 , 安徽医科大学第一附属医院
IPC: G06N3/0895 , G06N3/0455 , G06V10/44 , G06F40/126 , G06F40/279 , G06V10/82 , G06F18/25 , G16H15/00
Abstract: 本发明公开一种基于视觉‑语言多模态对比学习的超声图像预训练方法,通过单模态局部对比学习与多模态局部对比学习实现特征对齐,并创造性地提出自监督预训练方法,该方法使用医学超声图像数据与诊断报告文本数据学习输入图像和报告文本的单模态和多模态特征表示,利用单模态对比损失与多模态对比损失对齐图像与文本特征。本发明考虑到超声图像与诊断报告的特点,本发明采用局部对比学习的方式来细粒度对齐图像与文本特征。本发明以掩码语言建模和图像文本匹配作为预训练目标进行预训练。
-
公开(公告)号:CN118864383A
公开(公告)日:2024-10-29
申请号:CN202410883238.7
申请日:2024-07-03
Applicant: 安徽大学 , 安徽医科大学第一附属医院
IPC: G06T7/00 , A61B8/00 , G06T7/13 , G06T5/10 , G06T5/20 , G06N3/0455 , G06N3/049 , G06N3/0464 , G06N3/0895
Abstract: 本发明公开一种基于边缘掩码和时序差分的超声视频基础模型的训练方法,先通过小波变换减少超声图像中的斑点噪声,然后使用canny算法对前两帧和后两帧边缘区域进行掩码,同时对中间两帧进行完全掩码,接着利用运动差分注意力模块,通过掩码之后的前两张帧和后两帧进行初始特征重建;最后,将特征一起送入到解码器当中进行视频序列的重建并计算损失,通过多次迭代训练获得最终的训练权重。
-
公开(公告)号:CN118821900A
公开(公告)日:2024-10-22
申请号:CN202410932383.X
申请日:2024-07-12
Applicant: 安徽大学 , 安徽医科大学第一附属医院
IPC: G06N3/0895 , G06N3/0455 , G06V10/44 , G06F40/126 , G06F40/279 , G06V10/82 , G06F18/25 , G16H15/00
Abstract: 本发明公开一种基于视觉‑语言多模态对比学习的超声图像预训练方法,通过单模态局部对比学习与多模态局部对比学习实现特征对齐,并创造性地提出自监督预训练方法,该方法使用医学超声图像数据与诊断报告文本数据学习输入图像和报告文本的单模态和多模态特征表示,利用单模态对比损失与多模态对比损失对齐图像与文本特征。本发明考虑到超声图像与诊断报告的特点,本发明采用局部对比学习的方式来细粒度对齐图像与文本特征。本发明以掩码语言建模和图像文本匹配作为预训练目标进行预训练。
-
公开(公告)号:CN114330516B
公开(公告)日:2025-01-14
申请号:CN202111534376.7
申请日:2021-12-15
Applicant: 安徽大学
IPC: G06V10/764 , G06V10/82 , G06N3/0464 , G06N3/042 , G06N3/04
Abstract: 本发明公开一种基于多图引导神经网络模型的小样本徽景图像分类方法,基于不同层次(view)多图引导神经网络模型的特征,对不同层次的图像特征信息进行建模,同时引入对于不同样本进行关系建模的图卷积神经网络,通过样本间特征传播拉近同类样本远离不同类样本使得样本特征更具有判别力。本发明可以有效地解决小样本复杂的徽景图像分类问题,其模型架构主要包括四个方面:利用深度网络提取徽景图像不同层次view的特征,基于不同层次view的全局特征表示进行图的构建,分别对不同层次view特征进行图的卷积表示,基于多图引导的特征对查询样本进行分类。
-
公开(公告)号:CN117393100B
公开(公告)日:2024-04-05
申请号:CN202311688317.4
申请日:2023-12-11
Applicant: 安徽大学
Abstract: 本发明提供一种诊断报告的生成方法、模型训练方法、系统、设备及介质。训练方法包括:获取含病变标签和诊断报告的第一类医学影像图片、含病变标签标注的第二类医学影像图片、不含病变标签标注的第三类医学影像图片;根据学生模型生成三类医学影像图片对应的第一预测诊断报告、第二预测诊断报告和第三预测诊断报告;根据教师模型生成第三类医学影像图片的第四预测诊断报告;根据文本分类模型生成第一预测诊断报告和第二预测诊断报告的预测病变标签;基于预测病变标签和病变标签、第二预测诊断报告和诊断报告、第三预测诊断报告的第四预测诊断报告,更新学生模型和教师模型的参数,将训练好的学生模型作为诊断报告生成模型。提高了模型的准确率。
-
公开(公告)号:CN117670853A
公开(公告)日:2024-03-08
申请号:CN202311716918.1
申请日:2023-12-14
Applicant: 安徽大学
IPC: G06T7/00 , G06V20/40 , G06V10/80 , G06V10/44 , G06V10/62 , G06N3/0455 , G06N3/0464
Abstract: 本发明公开一种基于领域知识引导的帧质量评估和融合的乳腺超声视频病变检测方法,设计一种基于领域知识引导的评估模块通过充分利用放射科医生的领域知识来学习一个最佳的超声视频帧评估模型,利用超声图像质量评估模块来识别原始视频帧,通过排序后获得高质量的视频帧,以提供超声视频的全局特征;同时本发明提出多级双分支融合模块,用于超声视频病变检测任务,通过将高质量的全局帧与原始视频帧融合,从而结合原始视频帧的局部纹理信息和高质量视频帧的全局语义信息,以提高模型的检测性能。本发明在现有的乳腺超声视频病变检测数据集上取得了较好的效果。
-
公开(公告)号:CN109934298A
公开(公告)日:2019-06-25
申请号:CN201910209027.4
申请日:2019-03-19
Applicant: 安徽大学
IPC: G06K9/62
Abstract: 本发明公开了一种基于聚类的形变图的渐进式图匹配方法及装置,方法包括:1)、获取待匹配图像的图像特征;2)、将差异值小于预设阈值的相邻两个图像特征进行合并为一个图像特征,得到图像特征簇;3)、根据图像特征簇之间的匹配关系,获取候选匹配的相似性值,并根据相似性值的最大值获取候选匹配的指示向量;4)、判断指示向量对应的相似性值是否收敛;5)、若否,根据各个候选匹配的指示向量,获取指示向量的置信度,得到更新后的匹配矩阵;并返回执行步骤3),直至指示向量对应的相似性值收敛;6)、若是,将匹配矩阵中的各个图像特征的对应关系作为待匹配图像的匹配结果。应用本发明实施例,可以提高图像特征匹配的效率。
-
公开(公告)号:CN118967559A
公开(公告)日:2024-11-15
申请号:CN202410924354.9
申请日:2024-07-11
Applicant: 安徽大学
IPC: G06T7/00 , G06T7/73 , G06V10/25 , G06V10/44 , G06V10/764 , G06V10/82 , G06N3/0455 , G06N3/0464 , G06N3/09
Abstract: 本发明公开一种基于SAM和课程学习的太赫兹图像乳腺肿瘤检测方法,为了从太赫兹乳腺图像中准确定位并识别肿瘤,本发明将视觉基础模型SAM应用于肿瘤检测,构建一个双分支的肿瘤检测网络,其中一个分支利用目标检测模型DETR对太赫兹乳腺图像进行粗粒度的肿瘤检测,生成混合提示,包括边界框和类别,其中类别作为一种文本提示,然后将其输入SAM分支进行细粒度肿瘤检测。此外,本发明采用课程学习的思想,将由易到难的太赫兹乳腺肿瘤图像数据集分批次地送入双分支肿瘤检测网络进行训练,以获得较好的检测效果。
-
公开(公告)号:CN117649565B
公开(公告)日:2024-05-28
申请号:CN202410122839.6
申请日:2024-01-30
Applicant: 安徽大学
IPC: G06V10/764 , G06N3/0464 , G06N3/084 , G06T7/00 , G06V10/44 , G06V10/774 , G06V10/82
Abstract: 本申请公开一种模型训练方法、训练装置及医学影像分类方法,通过获取医学影像训练集,所述医学影像训练集包括若干医学影像及其对应的疾病标签信息和临床信息;将所述医学影像数据集划分为若干数据块,并基于每个所述数据块中医学影像对应的疾病标签信息和/或临床信息构建每个所述数据块的图像级关系矩阵;采用分批方式依次将所述数据块及对应的图像级关系矩阵输入到预训练影像分类模型进行模型训练,以获取训练好的医学影像分类模型。通过在模型训练阶段,引入图像级关系矩阵,优化视觉特征嵌入,帮助分类模型理解图像,提高医学影像分类模型的分类性能。
-
-
-
-
-
-
-
-
-