公开(公告)号：CN115984323A

公开(公告)日：2023-04-18

申请号：CN202211618423.0

申请日：2022-12-15

Applicant: 南京理工大学

Inventor： 韩静 ,  陈名洋 ,  瞿超

IPC: G06T7/246 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/045 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及一种基于空频域均衡的双级融合RGBT跟踪算法，属于计算机视觉技术领域。具体步骤如下:网络主体框架包括模板分支和搜索分支。将待测物品的视频帧图像经过空频域均衡模块的数据处理、特征网络提取、空间位置增强，得到了两个分支特征。将特征进行特征整合和处理，作为双级融合轻量注意力模块输入。本发明设计了空频域均衡模块，结合模态域、空域、频域多个不同域信息，进行特征层面信息交互来均衡不同模态数据的特征，结合空频域均衡模块的输出设计了双级融合轻量注意力模块，利用特征级信息和决策级信息重新调整不同模态和频域数据的分配权重比，平衡特征，进一步提高特征表达能力。

公开(公告)号：CN115546489A

公开(公告)日：2022-12-30

申请号：CN202211471454.8

申请日：2022-11-23

Applicant: 南京理工大学

Inventor： 韩静 ,  王川 ,  陈霄宇 ,  瞿超 ,  徐启涵 ,  蒋韫骋

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06V10/143

Abstract: 本发明公开了一种基于跨模态特征强化与交互的多模态图像语义分割方法，包括：将对应的可见光图像和红外图像作为输入，采用双分支编码结构分别提取两种图像特征，在各个编码阶段，首先通过特征交互模块对提取的两种图像特征进行增强和交互，并将交互之后的特征送入下一阶段的编码模块，而后通过特征融合模块将经过增强和交互之后的特征进行融合，并将融合特征送入对应阶段的解码模块，最后采用上采样和跳层连接逐级解码，获得多模态图像语义分割结果。本发明从编码网络的数据流出发，利用注意力机制增强各自模态的有效特征，将增强后的特征与另一模态的特征交互，对单一模态的信息进行补充，最大程度利用跨模态信息解析场景。

公开(公告)号：CN115546489B

公开(公告)日：2023-05-12

申请号：CN202211471454.8

申请日：2022-11-23

Applicant: 南京理工大学

Inventor： 王川 ,  韩静 ,  陈霄宇 ,  瞿超 ,  徐启涵 ,  蒋韫骋

IPC: G06V10/26 ,  G06V10/80 ,  G06V10/82 ,  G06V20/70 ,  G06V10/143

Abstract: 本发明公开了一种基于跨模态特征强化与交互的多模态图像语义分割方法，包括：将对应的可见光图像和红外图像作为输入，采用双分支编码结构分别提取两种图像特征，在各个编码阶段，首先通过特征交互模块对提取的两种图像特征进行增强和交互，并将交互之后的特征送入下一阶段的编码模块，而后通过特征融合模块将经过增强和交互之后的特征进行融合，并将融合特征送入对应阶段的解码模块，最后采用上采样和跳层连接逐级解码，获得多模态图像语义分割结果。本发明从编码网络的数据流出发，利用注意力机制增强各自模态的有效特征，将增强后的特征与另一模态的特征交互，对单一模态的信息进行补充，最大程度利用跨模态信息解析场景。

公开(公告)号：CN115511956A

公开(公告)日：2022-12-23

申请号：CN202211479183.0

申请日：2022-11-24

Applicant: 南京理工大学

Inventor： 韩静 ,  陈名洋 ,  陈霄宇 ,  瞿超 ,  魏驰恒 ,  张靖远 ,  王泽

IPC: G06T7/70 ,  G06F17/16 ,  G01S19/42

Abstract: 本发明公开了一种无人机成像定位方法，包括以下步骤，步骤一：确定无人机上陀螺仪的偏航角、俯仰角以及横滚角的实际意义；步骤二：建立图像定位所需要的坐标系；步骤三：根据图像建立图像像素坐标系和图像物理坐标系，计算目标点实际位置在相机坐标系内的三维坐标；步骤四：将相机坐标系转换为无人机地理坐标系；步骤五：将无人机地理坐标系转换为大地直角坐标系；步骤六：将大地直角坐标系转换为GPS坐标系，本发明的有益效果：根据目标定位过程中目标点、像点和测量点的几何关系，利用Matlab算法计算出目标点的经纬度和高度，从而实现目标定位，有利于无人机目标定位成像的精度的提高。