-
公开(公告)号:CN113920171B
公开(公告)日:2022-10-25
申请号:CN202111499743.4
申请日:2021-12-09
Applicant: 南京理工大学
Abstract: 发明涉及一种基于特征级和决策级融合的双模态目标跟踪算法,包括构建SiamDL双级融合注意网络结构;获取模板图像;获取搜索区域图像;提取图像深度特征;对多域的深度特征进行交互;对交互后的特征进行分类约束;对分类结果进行调制;特征融合;调制融合特征;分类回归。本发明通过引入双层融合注意机制,提出了一种双级平衡模块,它可以利用决策级和特征级的信息更合理地平衡两种模式的权重比;引入跨域孪生注意机制,提出一个多域感知模块,能够自适应地更新模板特征,利用模式域和时域丰富的上下文信息,提高网络的特征表示能力,实现了高速运转和优异的跟踪结果,提升了跟踪器应对复杂场景的能力。
-
公开(公告)号:CN111922483B
公开(公告)日:2022-05-17
申请号:CN201910391799.4
申请日:2019-05-13
Applicant: 南京理工大学
IPC: B23K9/04 , B23K9/127 , B23K26/044 , B23K26/342
Abstract: 本发明公开了一种基于学习的线结构光焊缝跟踪与增材路径纠偏装置及方法,纠偏装置包括母板、焊枪、激光器、CCD相机和图像处理传输模块,在焊接或增材制造过程中由相机在线连续采集线结构光投射到基板的光条图像,再采用改进的VGG深度网络方法提取出线结构光中心光条和基于中心光条提取焊接或增材的特征点位,装置将特征点信息传输给机器人控制系统,以此来实现对焊接作业的焊缝跟踪和增材制造中的路径纠偏。本发明能够适用于多种作业种类,如各类焊接制造、激光增材和电弧增材;对于恶劣的作业环境的适应性极强,能够抗弧光、飞溅、烟尘等各类噪声干扰;同时也保证了工业上对于跟踪及纠偏精度要求。
-
公开(公告)号:CN113724308A
公开(公告)日:2021-11-30
申请号:CN202111286968.1
申请日:2021-11-02
Applicant: 南京理工大学
IPC: G06T7/33
Abstract: 本发明涉及基于光度与对比度互注意力的跨波段立体匹配算法,包括:1.采集数据集,2.搭建端到端的跨模态立体匹配网络,3.构建约束,4.构建注意力增强机制,5.模型训练,包括共有特征提取训练和共有特征的视差匹配训练。本发明完成了红外‑可见光立体匹配系统的搭建,提供可见光长波红外跨模态立体匹配算法;提出并设计基于自编码的特征相关性学习框架,在高层语义特征上挖掘不同波段共有信息;提出特征层约束与明度注意力约束机制,特征约束有效的提升了代价卷模块在跨模态立体匹配任务中的性能;明度注意力提高在低曝光条件下网络对有效信息获取的能力。
-
公开(公告)号:CN113391640A
公开(公告)日:2021-09-14
申请号:CN202110278951.5
申请日:2021-03-16
Applicant: 南京理工大学
Abstract: 本发明涉及检测与跟踪协同的无人机视觉引导系统及控制方法,包括硬件系统和软件系统,硬件系统包括图像采集模块、软件处理模块和无人机模块,图像采集模块是前端模块,用于获取和传输图像;软件系统包括软件框架和软件工作流程,软件框架包括软件初始化模块、图像采集模块、目标检测模块、目标跟踪模块、建模跟踪融合模块、定位计算模块和飞控模块。本发明在地面上打开,随后飞行到目标上空,选择目标;不断定位抵近该目标;当抵近目标到一定程度后,将定位目标切换为目标上方关键部位;在该关键部位上执行业务功能。本发明同时使用目标检测算法和目标跟踪算法,设计两种算法的融合工作机制,充分发挥两种算法各自的优势,使得系统获得更佳性能。
-
公开(公告)号:CN112381101A
公开(公告)日:2021-02-19
申请号:CN202110039580.5
申请日:2021-01-13
Applicant: 南京理工大学
Abstract: 本发明涉及一种基于类别原型回归的红外道路场景分割方法,包括以下步骤:1.类别原型特征回归:利用大量的数据标签和深度特征,通过回归得到类别特征原型;2.构建关系矩阵:得到了类别特征原型后,通过深度特征和类别特征原型构建关系矩阵;3.注意力增强:通过关系矩阵构建不同的注意力图来实现特征增强;4.搭建注意力模块:建立类别注意力模块和空间注意力模块,聚合两个注意力模块的功能。本发明提出类别原型回归的策略来对整个数据集回归,得出具有代表性的类别原型特征,同时聚类网络深度特征,使全局类别特征更加紧密;同时放大各类别间的差异性,相应构建关系矩阵和注意力模块,使整体特征更加紧密,提升最终的图像分割精度。
-
公开(公告)号:CN110631699A
公开(公告)日:2019-12-31
申请号:CN201910797710.4
申请日:2019-08-27
Applicant: 南京理工大学
Abstract: 本发明提出了一种基于深度网络解混的瞬态光谱仪,包括望远物镜、数字微镜器件DMD、棱镜、准直透镜、光栅、聚焦透镜、CCD相机、光强还原模块以及光谱重建模块,光强还原模块通过卷积神经网络将色散叠加后的光谱还原为光强分布;光谱重建模块将Hadamard-S矩阵与光强分布进行叠加形成Sub-Hadamard-S矩阵,并根据Sub-Hadamard-S矩阵重建光谱。本发明结构简单,不需要配准过程,同时光强强,信噪比高。
-
公开(公告)号:CN109815799A
公开(公告)日:2019-05-28
申请号:CN201811546739.7
申请日:2018-12-18
Applicant: 南京理工大学
Abstract: 本发明公开了一种基于SSD的快速检测算法,为航拍的车辆检测提出了一种更快的特征提取模块以及针对航拍场景去掉了冗余的预选框,使整体速度得到显著的提升。具体地,我们提出一种名叫CE模块的网络单元,CE模块通过关联上层的信息来增强特征的表达能力,使得我们将网络参数变少时,对特征表达能力的影响非常小,这个方法显著地减少了特征提取网络的计算量。我们在更换特征提取模块的同时,也减少了冗余的预选框,进一步减少整体系统的计算量。
-
公开(公告)号:CN118864734A
公开(公告)日:2024-10-29
申请号:CN202411321280.6
申请日:2024-09-23
Applicant: 南京理工大学
IPC: G06T17/00
Abstract: 本发明公开了一种基于隐式表征的绕视场景三维重建方法,包括:使用激光器照射中继墙面,在中继墙面形成二次漫反射光斑,并通过照亮中继墙上的不同位置,在对面墙上生成不同角度的隐藏对象投影;通过光源估计方法估计二次光源所在三维坐标;通过二次光源在半球空间内向所有方向发射光线并终止于观测中继墙的物理关系建立神经阴影场模型,利用光线的累积透射率来表征光线传播到中继墙表面的概率;将构建神经阴影场模型的三维空间参数化表示为连续的MLP函数,并使用二值阴影标签监督光线累积透射率的优化,并最终通过深度积分获得隐藏空间的三维结构。该方法可以准确地重建隐藏物体的形状和轮廓细节。
-
公开(公告)号:CN116721195A
公开(公告)日:2023-09-08
申请号:CN202310531817.0
申请日:2023-05-12
Applicant: 南京理工大学
Abstract: 本发明涉及一种红外目标样本生成方法,包括如下步骤:拍摄目标物,利用建模软件对所述目标物不同结构进行材质赋值和纹理映射,建立目标物的三维几何模型。构建背景模型、温度场计算模块、大气辐射传输计算模块、红外辐射特性计算、红外探测器效应计算模块,生成最终的红外目标样本,由此建立红外探测器模型。利用TAITherm计算场景的温度分布,利用MODTRAN计算大气辐射传输效应,基于GPU计算场景红外辐射亮度,生成仿真红外目标样本。本方法能够快速、准确地仿真生成各种外部环境条件下的红外目标样本,不需要进行实地探测,有效地克服了外场实验获取红外图像的缺点,为武器系统的研发提供大量的红外图像数据,有效提升了红外目标识别的准确度。
-
公开(公告)号:CN116309798A
公开(公告)日:2023-06-23
申请号:CN202310081307.8
申请日:2023-02-08
Applicant: 南京理工大学
Abstract: 本发明公开了一种无人机成像定位方法,包括以下步骤,步骤一:确定无人机上陀螺仪的偏航角、俯仰角以及横滚角的实际意义;步骤二:建立图像定位所需要的坐标系;步骤三:根据图像建立图像像素坐标系和图像物理坐标系,计算目标点实际位置在相机坐标系内的三维坐标;步骤四:将相机坐标系转换为无人机地理坐标系;步骤五:将无人机地理坐标系转换为大地直角坐标系;步骤六:将大地直角坐标系转换为GPS坐标系,本发明的有益效果:根据目标定位过程中目标点、像点和测量点的几何关系,利用Matlab算法计算出目标点的经纬度和高度,从而实现目标定位,有利于无人机目标定位成像的精度的提高。
-
-
-
-
-
-
-
-
-