公开(公告)号：CN112581431B

公开(公告)日：2022-08-23

申请号：CN202011418672.6

申请日：2020-12-07

Applicant: 重庆邮电大学

Inventor： 曾宪华 ,  黄正义

IPC: G06T7/00 ,  G06N3/04 ,  G06N3/08 ,  G06F40/211 ,  G06F40/242 ,  G06F40/30

Abstract: 本发明公开了一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法，包括：通过长短时记忆网络提取超声图像诊断报告的句子特征和词特征；在生成器不同阶段的特征图与注意力特征相拼接作为下一阶段的输入；利用真实超声图像和生成超声图像的深度特征和浅层特征构建内容保持损失，同时结合判别器对抗损失共同优化生成超声图像；内容损失通过原始超声图像和生成超声图像的深度特征以及浅层特征之间的差异来构造；通过构建的损失函数，利用梯度下降法优化生成器模型。本发明能够通过超声诊断报告生成相应的超声图像，同时保证图像内容与诊断报告的语义一致，并生成细致的纹理细节。

公开(公告)号：CN112581431A

公开(公告)日：2021-03-30

申请号：CN202011418672.6

申请日：2020-12-07

Applicant: 重庆邮电大学

Inventor： 曾宪华 ,  黄正义

IPC: G06T7/00 ,  G06N3/04 ,  G06N3/08 ,  G06F40/211 ,  G06F40/242 ,  G06F40/30

Abstract: 本发明公开了一种基于内容保持与注意力机制的从超声诊断报告生成超声图像的方法，包括：通过长短时记忆网络提取超声图像诊断报告的句子特征和词特征；在生成器不同阶段的特征图与注意力特征相拼接作为下一阶段的输入；利用真实超声图像和生成超声图像的深度特征和浅层特征构建内容保持损失，同时结合判别器对抗损失共同优化生成超声图像；内容损失通过原始超声图像和生成超声图像的深度特征以及浅层特征之间的差异来构造；通过构建的损失函数，利用梯度下降法优化生成器模型。本发明能够通过超声诊断报告生成相应的超声图像，同时保证图像内容与诊断报告的语义一致，并生成细致的纹理细节。