公开(公告)号：CN119336968A

公开(公告)日：2025-01-21

申请号：CN202411371357.0

申请日：2024-09-29

Applicant: 重庆大学

Inventor： 冯永 ,  李诗雅 ,  黄嘉翔

IPC: G06F16/908 ,  G06F16/583 ,  G06F16/683 ,  G06F16/383 ,  G06F18/213 ,  G06F18/25 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/0895 ,  G06V10/44 ,  G06V20/10 ,  G06F40/30 ,  G06F40/284 ,  G10L25/18 ,  G10L25/30

Abstract: 本发明公开了一种基于深度三元融合感知网络的遥感跨模态检索方法，该方法使用训练后的遥感跨模态检索模型将多模态遥感数据进行跨膜态检索；所述遥感跨模态检索模型将多模态遥感数据作为自监督模态增强模块的输入进行预处理，并输入至三元特征表达模块独立捕获提取单模态图像特征、文本特征和音频特征，上述特征作为融合感知模块的输入，以融合生成多模态特征嵌入，并根据所述多模态特征嵌入得到待处理的多模态遥感数据的遥感跨模态检索结果。本发明利用三元特征表达策略、融合感知机制和自监督模态增强技术，解决了模型的模态可扩展性和遥感标注数据的稀缺与高成本等关键问题，显著增强了遥感数据跨模态检索任务的精度和效率。

公开(公告)号：CN116049475A

公开(公告)日：2023-05-02

申请号：CN202310048099.1

申请日：2023-01-31

Applicant: 重庆大学

Inventor： 冯永 ,  黄嘉翔

IPC: G06F16/583 ,  G06V10/44 ,  G06V10/80 ,  G06V10/82 ,  G06N3/048

Abstract: 本发明具体涉及基于多尺度细粒度哈希网络的跨模态遥感检索方法及系统。所述方法包括：将待检索数据输入经过训练的跨模态检索模型中，输出语义相关的文本或图像结果；训练时，首先将遥感图像及对应的描述文本作为模型输入；然后提取遥感图像的多尺度融合特征，并引入冗余过滤器去除重复特征生成图像特征；其次提取描述文本的细粒度语义特征并结合图像特征进行视觉引导生成文本特征；再通过哈希检索网络将图像特征和文本特征转换为二进制哈希码，进而计算汉明距离并排序；最后通过损失函数优化哈希检索网络的网络参数直至收敛。本发明的跨模态遥感检索方法能够提高跨模态遥感图文检索的准确性、全面性和效率。