公开(公告)号：CN113035311B

公开(公告)日：2023-05-23

申请号：CN202110340777.2

申请日：2021-03-30

Applicant: 广东工业大学

Inventor： 林宇明 ,  杨颖 ,  程良伦 ,  赵艮平 ,  张煜乾

IPC: G16H15/00 ,  G16H30/00 ,  G06F16/35 ,  G06F40/30 ,  G06N3/0442

Abstract: 本发明公开了一种基于多模态注意力机制的医学图像报告自动生成方法，使用关键词数据集训练图像特征提取模型，并用该模型提取与图像描述相关的视觉特征，并基于关键词注意力机制和空间注意力机制，利用多模态注意力机制生成联合的上下文向量；上下文向量被输入到了一个句子LSTM，展开几步，然后在每一步都会产生一个主题向量，主题向量表示了所需要生成的句子的语义；给定一个主题向量，单词LSTM以它作为输入，然后生成一个单词序列，用于形成一个句子，这个过程的终止由句子LSTM控制；最后将形成的所有句子组合到一起，列出标签列表，就完成了医学图像报告的自动生成。该方法能有效解决撰写医学图像报告耗时费力，容易出错的问题。

公开(公告)号：CN113035311A

公开(公告)日：2021-06-25

申请号：CN202110340777.2

申请日：2021-03-30

Applicant: 广东工业大学

Inventor： 林宇明 ,  杨颖 ,  程良伦 ,  赵艮平 ,  张煜乾

IPC: G16H15/00 ,  G16H30/00 ,  G06F16/35 ,  G06F40/30 ,  G06N3/04

Abstract: 本发明公开了一种基于多模态注意力机制的医学图像报告自动生成方法，使用关键词数据集训练图像特征提取模型，并用该模型提取与图像描述相关的视觉特征，并基于关键词注意力机制和空间注意力机制，利用多模态注意力机制生成联合的上下文向量；上下文向量被输入到了一个句子LSTM，展开几步，然后在每一步都会产生一个主题向量，主题向量表示了所需要生成的句子的语义；给定一个主题向量，单词LSTM以它作为输入，然后生成一个单词序列，用于形成一个句子，这个过程的终止由句子LSTM控制；最后将形成的所有句子组合到一起，列出标签列表，就完成了医学图像报告的自动生成。该方法能有效解决撰写医学图像报告耗时费力，容易出错的问题。