公开(公告)号：CN116977346A

公开(公告)日：2023-10-31

申请号：CN202310955970.6

申请日：2023-08-01

Applicant: 新疆大学 ,  新疆医科大学第一附属医院

Inventor： 李敏 ,  许可 ,  王云玲 ,  吕小毅 ,  陈晨 ,  马洪兵

IPC: G06T7/10 ,  G06T3/40 ,  G06T5/00 ,  G06T7/00 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明为一种基于空间注意力机制的多模态图像分割模型和方法。一种基于空间注意力机制的多模态图像分割模型，包括：编码器模块、解码器模块、跳跃连接模块、空间注意力模块和特征选择模块；所述的编码器模块和解码器模块用于提取特征和恢复图像；所述的跳跃连接模块用于将所述的编码器模块和解码器模块之间的特征图进行拼接；所述的空间注意力模块用于加强关注权重。本发明所述的一种基于空间注意力机制的多模态图像分割模型和方法，将模型和方法可以集成多模态图像信息，使用空间注意机制自适应地调整每个模态的权重，并通过不同的损失函数比率进行优化，解决了模型中的特征缺失问题，使模型聚焦更多关于重要区域。