公开(公告)号：CN118521834A

公开(公告)日：2024-08-20

申请号：CN202410980569.2

申请日：2024-07-22

Applicant: 中国医学科学院生物医学工程研究所

Inventor： 李婷 ,  徐楼喆 ,  陈祎 ,  陈姝蓉 ,  张婕 ,  李豫

IPC: G06V10/764 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/084 ,  G06T7/00 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明提供了一种基于多模态的肿瘤分类模型训练方法，包括以下步骤：S1、采集肿瘤患者的白光图像和超声图像，并标注类型标签；S2、对S1采集到的白光图像和超声图像进行归一化处理；S3、使用经过归一化处理的超声图像训练分割模型，对超声图像进行裁剪，去除与病变无关的组织图像；S4、分别采集S1采集到的白光图像的特征和S3剪裁后的超声图像的特征；S5、将S4中的白光图像的特征和超声图像的特征进行特征融合，使用融合后的特征训练多模态特征融合神经网络模型，形成肿瘤分类模型。本发明有益效果：对超声和白光图像使用了多模态内镜特征融合模型，实现白光内镜和超声内镜所携带的信息的互补，具有高准确性泛化能力强的优点。