公开(公告)号：CN116630660A

公开(公告)日：2023-08-22

申请号：CN202310490266.8

申请日：2023-05-04

Applicant: 长安大学

Inventor： 赵天慈 ,  白雪 ,  房建武 ,  席江波 ,  王洁

IPC: G06V10/75 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 本发明公开了一种多尺度增强学习的跨模态图像匹配方法，包括以下步骤：S1.在神经网络模型中输入基准图和实时图；S2.基于ResNet网络对所述基准图和实时图进行特征提取，将ResNet网络中的第2、3、4层特征通过区域推荐模块得到实时图特征在基准图特征中的相关区域；S3.通过Transformer特征融合模块对步骤S2中ResNet网络提取出来的特征进行融合；S4.将步骤S3中的融合特征输入到特征解码模块中，得到实时图在基准图中的位置；S5.输出步骤S4中得到的位置匹配结果。本发明所输入的不同模态的基准图和实时图，都能得到实时图在基准图中的准确位置，不论是SAR图像、可见光图像还是远红外图像都能够得到较好的匹配结果，与传统匹配方法相比，该方法潜力大、鲁棒性强、效率高。