公开(公告)号：CN117633558A

公开(公告)日：2024-03-01

申请号：CN202311650342.3

申请日：2023-12-04

Applicant: 北京邮电大学

Inventor： 姜竹青 ,  郭妙恬 ,  劳琪成 ,  门爱东

IPC: G06F18/23 ,  G06F18/25 ,  G06F18/241 ,  G06V10/25 ,  G06V10/40 ,  G06F18/213 ,  G06F18/22 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明提出了基于视觉语言模型的多激励融合零样本病变检测算法，属于多模态医学图像处理技术领域。本发明提出的方法包括步骤：1)将多个激励直接输入模型中，获得对应的中间变量C。2)选择合适的融合策略，对中间变量C进行归类。3)将分类后的中间变量C′分别进行位置聚类、尺寸聚类、类别标签修正、置信度阈值筛选四步操作。4)将筛选后的来自不同激励的进行多级特征融合筛选后，送入小型分类网络中进行进一步的分类判断，得到最终的融合结果。本发明通过集成学习的思想以及深度学习基本网络框架的辅助，打破了原有的单输入网络结构的限制，实现了没有数量限制的多激励融合，从而大大提高零样本条件下，视觉语言模型对医学图像领域病变检测任务的准确率。