公开(公告)号：CN118315048A

公开(公告)日：2024-07-09

申请号：CN202410555131.X

申请日：2024-05-07

Applicant: 上海理工大学

Inventor： 杨海马 ,  宋夜夜 ,  付玏 ,  刘瑾 ,  李筠 ,  张大伟 ,  邱丽华

IPC: G16H50/20 ,  G16H30/20 ,  G06V10/80 ,  G06V10/56 ,  G06V10/82

Abstract: 本发明属于医疗影像技术领域，公开了一种基于多模态深度学习的宫颈管镜在体辅助诊断方法及系统，包括：利用软件功能开发框架，提供可视化医疗辅助诊断系统软件；将原始的阴道镜图像经过深度学习网络提取出其高级特征图像；将文本信息、原始Excel表中的病人病理信息转化为高级特征图像；将图像高级特征图像与数值图像化图像拼接生成特征拼接结果。本发明实现了文本特征数值化，用颜色信息代替文本信息。将被生成的RGB图像化特征以及宫颈管镜图像深层特征通过多模态融合算法进行融合,通过两层全连接神经网络实现疾病的预测。随着模态种类的完整，模型的识别效果也会大大提升。使医生可以在不同的环境中利用PC机或者移动智能设备查阅病人的图像资料。