公开(公告)号：CN119646272B

公开(公告)日：2025-05-13

申请号：CN202510186603.3

申请日：2025-02-20

Applicant: 西南交通大学

Inventor： 张晓博 ,  盛逸凯 ,  孙波 ,  王富淞 ,  杨芸菲

IPC: G06F16/903 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于信息增强和多模态全局局部特征对齐的图文检索方法，涉及图文检索技术领域，步骤如下：1、获取图片信息和对应文本描述数据；2、分别对图片数据和文本数据进行特征提取，得到图片全局特征、局部特征和文本词特征和句子特征；3、将图片局部特征和图片全局特征进行融合，获得拥有全局信息的局部特征，实现信息增强；4、将图片特征和文本特征放入交叉注意力机制模型中进行粗细粒度特征融合，得到图文全局融合特征和图文局部融合特征，实现图文的粗细粒度对齐；5、将图文局部融合特征与图文局部特征进行相似度计算，以实现图文检索。本发明通过信息增强和特征融合，保证了粗粒度和细粒度的对齐，提高了图像和文本的对齐。

公开(公告)号：CN119446543A

公开(公告)日：2025-02-14

申请号：CN202510042586.6

申请日：2025-01-10

Applicant: 西南交通大学

Inventor： 张晓博 ,  杨芸菲 ,  赵小乐 ,  龚雪 ,  杨阳

IPC: G16H50/30 ,  G06V10/776 ,  G06V10/77 ,  G06V10/764 ,  G06N3/0499 ,  G06N20/20 ,  G06N20/10

Abstract: 本发明公开了一种基于BCL模型的帕金森进展预测方法，涉及医疗影像数据技术领域，包括：S1、获取包含H&Y评分和患者基本信息的临床数据，以及包含MRI图像的图像数据；S2、对MRI图像进行格式转换，结合H&Y评分进行数据标注；S3、对数据标注后的图像进行预处理；S4、使用主成分分析对预处理后的图像进行降维，提取图像的低维特征；S5、构造基于平衡权重调度器的课程学习框架以及分类模型，对降维后的特征进行训练；S6、预测患者的帕金森病进展，并对各个分类模型的预测性能进行评估。本发明能够提供更精确的患者疾病阶段评估，降低数据维度的同时提高了模型的计算效率和泛化能力，增强了模型对难样本的学习能力。

公开(公告)号：CN119646272A

公开(公告)日：2025-03-18

申请号：CN202510186603.3

申请日：2025-02-20

Applicant: 西南交通大学

Inventor： 张晓博 ,  盛逸凯 ,  孙波 ,  王富淞 ,  杨芸菲

IPC: G06F16/903 ,  G06N3/045 ,  G06N3/08

Abstract: 本发明公开了一种基于信息增强和多模态全局局部特征对齐的图文检索方法，涉及图文检索技术领域，步骤如下：1、获取图片信息和对应文本描述数据；2、分别对图片数据和文本数据进行特征提取，得到图片全局特征、局部特征和文本词特征和句子特征；3、将图片局部特征和图片全局特征进行融合，获得拥有全局信息的局部特征，实现信息增强；4、将图片特征和文本特征放入交叉注意力机制模型中进行粗细粒度特征融合，得到图文全局融合特征和图文局部融合特征，实现图文的粗细粒度对齐；5、将图文局部融合特征与图文局部特征进行相似度计算，以实现图文检索。本发明通过信息增强和特征融合，保证了粗粒度和细粒度的对齐，提高了图像和文本的对齐。