公开(公告)号：CN119479969B

公开(公告)日：2025-03-28

申请号：CN202510013977.5

申请日：2025-01-06

Applicant: 安徽大学

Inventor： 孙登第 ,  沐超凡 ,  赵海峰

IPC: G16H10/60 ,  G16H15/00 ,  G16H30/20 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开一种多模态特征融合Mamba用于医学报告自动生成方法，将原始医学图像输入视觉特征提取模块输出视觉特征；将原始医学报告输入文本特征提取模块，输出文本特征；将视觉特征和文本特征分别输入SSM‑Attention视觉文本特征整合模块，输出新的视觉特征和文本特征；新视觉特征输入Transformer编码器，增强视觉特征提取高级视觉特征；将文本特征和增强后的高级视觉特征输入多模态融合Mamba模块输出融合特征，将融合特征输入Transformer解码器自动生成医学报告。本发明的SSM‑Attention、Multi modal Mamba可独立发展和改进，同时也方便将新开发的技术模块集成进来，并不仅限与医学影像与文本特征的融合，他适用于任何的多模态的特征进行融合。

公开(公告)号：CN119479969A

公开(公告)日：2025-02-18

申请号：CN202510013977.5

申请日：2025-01-06

Applicant: 安徽大学

Inventor： 孙登第 ,  沐超凡 ,  赵海峰

IPC: G16H10/60 ,  G16H15/00 ,  G16H30/20 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0499 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开一种多模态特征融合Mamba用于医学报告自动生成方法，将原始医学图像输入视觉特征提取模块输出视觉特征；将原始医学报告输入文本特征提取模块，输出文本特征；将视觉特征和文本特征分别输入SSM‑Attention视觉文本特征整合模块，输出新的视觉特征和文本特征；新视觉特征输入Transformer编码器，增强视觉特征提取高级视觉特征；将文本特征和增强后的高级视觉特征输入多模态融合Mamba模块输出融合特征，将融合特征输入Transformer解码器自动生成医学报告。本发明的SSM‑Attention、Multi modal Mamba可独立发展和改进，同时也方便将新开发的技术模块集成进来，并不仅限与医学影像与文本特征的融合，他适用于任何的多模态的特征进行融合。