公开(公告)号：CN118113888A

公开(公告)日：2024-05-31

申请号：CN202311663327.2

申请日：2023-12-05

Applicant: 重庆邮电大学

Inventor： 陈乔松 ,  陈浩 ,  李远路 ,  刘峻卓 ,  张冶 ,  张冬

IPC: G06F16/432 ,  G06F16/483 ,  G06V10/40 ,  G06V10/82 ,  G06F18/2451 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提出基于多信道融合的跨模态细粒度检索方法。一方面该方法使用分支网络提取四个模态的深度特征信息。这种方式可以极大的提取专属于每个模态的特征，将每个模态的特征信息进行充分利用。另一方面，提取到每个模态的深度特征信息后，将其分为四个信道然后进行重组，使得重组后的每一组信息都包含四个模态的深度特征信息，这样在模型学习时其不仅能学习到本模态的信息，同时也提前学习了其他模态带来的信息，极大地增强了各个模态间的信息交互能力，从而增强模型的分类能力，为后续的检索任务提供了更加准确的分类结果，进一步提高模型的跨模态检索能力。使该技术可以应用到搜索引擎或公安系统中，有效提高检索准确率和犯罪侦查效率。

公开(公告)号：CN117874264A

公开(公告)日：2024-04-12

申请号：CN202311654682.3

申请日：2023-12-05

Applicant: 重庆邮电大学

Inventor： 陈乔松 ,  张冶 ,  刘峻卓 ,  李远路 ,  陈浩

IPC: G06F16/432 ,  G06F16/483 ,  G06F18/241 ,  G06F18/213 ,  G06F18/214 ,  G06F18/22 ,  G06F18/25 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于Transformer的跨模态细粒度检索方法，包括选取并制作跨模态检索任务所需的训练集数据和验证集数据，分别包含了图像，视频，音频和文本四个模态，以及它们各自的标签文件。本方法核心创新分为两部分，第一部分为模态特异性特征提取，将来自各模态的数据通过各自的编码器后，接LAGC‑Attention模块完成细粒度特征提取；第二部分为跨模态信息交互，通过自设计的跨模态交互的MMC模块完成，该模块可以充分融合来自不同模态的特征信息，并对不同模态的公共特征表达进行对齐。因此，每个模态提取得到的特征表达不仅包含了其单模态的有效信息，还包含了不同模态之间的联系与共性。这极大地增强了每一个模态的特征表达能力，尤其是缩小了文本模态与图像模态之间的异构性。因此在跨模态检索任务中，各模态皆可高效且准确地搜寻到其他模态。本发明为后续的跨模态细粒度检索和推荐算法等研究提供了重要的技术支持，可广泛应用于搜索引擎，精准推送等现实场景。

公开(公告)号：CN116993661A

公开(公告)日：2023-11-03

申请号：CN202310614991.1

申请日：2023-05-29

Applicant: 重庆邮电大学

Inventor： 陈乔松 ,  刘峻卓 ,  张冶 ,  陈浩 ,  李远路

IPC: G06T7/00 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种基于特征融合和注意力机制的潜在癌变息肉临床诊断方法，包括如下步骤：步骤一：根据息肉数据集划分所需的训练集和测试集；步骤二：对数据集进行预处理，统一尺寸和归一化；步骤三：将预处理后的数据输入神经网络中，提取图像特征；步骤四：计算输出的息肉位置预测图和临床医学专家标注的标签之间的损失，训练并优化模型，记录最优参数；步骤五：为模型加载最优保存权重，根据模型第一层和第二层输出的预测图计算最终分割预测。本方法的优势在于捕捉浅层特征中的多尺度信息和细节信息，融合并过滤深层语义特征。编码器端计算全局关系，重新调整特征图权重。模型实现了端到端的自动息肉分割，可准确分割多种息肉。