一种水下深度图超分辨率方法

    公开(公告)号:CN115760582A

    公开(公告)日:2023-03-07

    申请号:CN202310027766.8

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 本发明是一种水下深度图超分辨率方法。本发明涉及超分辨率技术领域,本发明包括:步骤1通过Kinect相机采集训练时所需要的数据,步骤2确定合适的评价指标来衡量模型输出的深度图像和原始高分辨率深度图像的几何差距,本方法中使用到的是均方根误差和感知误差;步骤3搭建适用于水下环境的深度图像超分辨率网络(DSTN网络),其主要包含以下四个模块:特征融合模块、独立特征提取模块、深度图像变换器、多尺度学习模块;步骤4网络的参数更新与训练。通过本申请中的技术方案,对水下拍摄的深度图像实现超分辨率,还原水下深度图像更多的细节,从而弥补大多数深度相机拍摄的深度图的分辨率和精度都不足以满足实际应用的缺陷。

    一种基于红外偏振图像的水下目标轻量化检测方法及装置

    公开(公告)号:CN117893894A

    公开(公告)日:2024-04-16

    申请号:CN202410294510.8

    申请日:2024-03-15

    Applicant: 吉林大学

    Abstract: 一种基于红外偏振图像的水下目标轻量化检测方法及装置,涉及水下机器视觉目标检测技术领域,方法包括:基于红外偏振相机采集水下目标红外偏振图像;将所述目标红外偏振图像划分为训练集和测试集;设计增强特征提取模块,并插入SlimNeck网络中,构成轻量化颈部网络;设计轻量化检测头SlimDetect,并采用所述轻量化检测头SlimDetect和所述轻量化颈部网络替换单阶段目标检测模型中的对应部分,得到轻量化目标检测模型;基于所述训练集训练所述轻量化目标检测模型;将训练后的轻量化目标检测模型用于水下目标检测;该方法通过轻量化设计,减少模型的参数量和计算复杂度,使得在资源有限的水下设备上实现实时目标检测成为可能。

    一种基于跨模态融合的水下目标三维配准方法

    公开(公告)号:CN117765048A

    公开(公告)日:2024-03-26

    申请号:CN202410195664.1

    申请日:2024-02-22

    Applicant: 吉林大学

    Abstract: 一种基于跨模态融合的水下目标三维配准方法,属于水下三维视觉技术领域,解决了现有技术无法有效地融合激光点云和深度图这两种数据源,在发挥各自的优势的同时,克服各自的局限性的问题。读取待配准的深度图,获得待配准的深度图投影图;读取待配准的激光点云,获得待配准的激光点云投影图;将待配准的深度图投影图与待配准的激光点云投影图进行匹配;根据匹配结果计算出配准角度差,根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵;对粗配准旋转矩阵和粗配准平移矩阵进行精配准,获得精配准旋转矩阵和精配准平移矩阵,实现了深度图投影图与激光点云投影图的配准。

    一种融合事件和RGB数据潜水员手势识别方法及其系统

    公开(公告)号:CN117576784B

    公开(公告)日:2024-03-26

    申请号:CN202410049996.9

    申请日:2024-01-15

    Applicant: 吉林大学

    Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统,涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性,如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频,转化成事件序列和RGB帧,并构建基准数据集;将事件序列数据映射到三维网格,采用多维特征表示;采用滑动窗口处理所述RGB帧,针对每个窗口内进行局部处理获得RGB特征;采用MLP编码事件和RGB特征,得到多模态融合的信息表达;采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练,最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。

    一种红外偏振成像数据的水下目标细粒度分类方法

    公开(公告)号:CN117746227A

    公开(公告)日:2024-03-22

    申请号:CN202410182760.2

    申请日:2024-02-19

    Applicant: 吉林大学

    Abstract: 本发明属于水下机器视觉技术领域,本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法,包括以下步骤:基于偏振相机获取图像构建水下基准数据集;利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码,得到编码结果,并输入预训练视觉变换器编码器的共L层变换器层中,得到多层级的视觉特征和多层级的注意力图;利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重,并进行特征选择,得到特征组1;利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择,得到多层级优化特征组2;将特征组1和特征组2输入第L层变换器层中,利用类别序列通过全连接层计算最终的类别。

    一种基于动态视觉传感器的水下多目标群体识别方法

    公开(公告)号:CN117671472A

    公开(公告)日:2024-03-08

    申请号:CN202410128788.8

    申请日:2024-01-31

    Applicant: 吉林大学

    Abstract: 一种基于动态视觉传感器的水下多目标群体识别方法。所述方法包括如下步骤:S1、利用动态视觉传感器收集水下多目标群体RGB图像与水下多目标群体事件;S2、使用水下多目标群体事件图像与水下多目标群体RGB图像构建数据集,按照比例划分训练集与验证集;S3、所述多目标群体识别模型以目标检测模型为基础,在目标检测模型骨干网络前嵌入自适应图像增强模块,在目标检测模型骨干网络和颈部网络之间嵌入特征级模态融合模块;S4、将训练集的数据输入步骤S4所述的多目标群体识别模型进行训练,以此获得符合要求的模型参数,并通过验证集验证效果;S5、通过训练好的多目标群体识别模型进行水下多目标群体识别。

    一种融合事件和RGB数据潜水员手势识别方法及其系统

    公开(公告)号:CN117576784A

    公开(公告)日:2024-02-20

    申请号:CN202410049996.9

    申请日:2024-01-15

    Applicant: 吉林大学

    Abstract: 一种融合事件和RGB数据潜水员手势识别方法及其系统,涉及水下计算机视觉的技术领域。解决现有潜水员手势识别方法单独依赖视觉信息会存在局限性,如准确性低和鲁棒性差的问题。采用事件相机采集多样化的潜水员手势视频,转化成事件序列和RGB帧,并构建基准数据集;将事件序列数据映射到三维网格,采用多维特征表示;采用滑动窗口处理所述RGB帧,针对每个窗口内进行局部处理获得RGB特征;采用MLP编码事件和RGB特征,得到多模态融合的信息表达;采用预训练的ResNet3D18和EGRU单元构成手势识别模型对融合后的特征进行训练,最终输出潜水员手势的准确类别。本发明适用于潜水员工作时的信息交互和信息传递。

    一种基于特征迁移的水下目标检测方法及系统

    公开(公告)号:CN116912675B

    公开(公告)日:2023-11-28

    申请号:CN202311175150.1

    申请日:2023-09-13

    Applicant: 吉林大学

    Abstract: 一种基于特征迁移的水下目标检测方法及系统,涉及水下机器视觉目标检测技术领域。解决现有水下目标检测方法存在的水下图像质量差、识别误差大和泛化能力差的问题。方法为:构建基准数据集进而训练迁移对抗学习网络模型,采用训练后的迁移对抗学习网络模型将水下高清图像的特征迁移到水下模糊目标图像上;将两层坐标注意力增强模块添加到YOLOv5的骨干网络中,并添加一组锚框和SIOU位置损失函数,获得DCA‑YOLOv5目标检测模型;采用DCA‑YOLOv5目标检测模型对特征增强后的水下高清目标图像进行目标检测,获得目标的位置和类别信息。本发明适用于水下模糊场景增强以及高精度的水下目标检测。

    一种基于事件相机的水下蛙人目标检测方法

    公开(公告)号:CN116682000B

    公开(公告)日:2023-10-13

    申请号:CN202310936412.5

    申请日:2023-07-28

    Applicant: 吉林大学

    Abstract: 一种基于事件相机的水下蛙人目标检测方法。属于水下机器视觉目标检测技术领域,具体涉及水下蛙人目标检测领域。其解决了以往的水下蛙人目标检测缺乏鲁棒性强的特征信息的问题。所述方法具体为:利用事件相机获取水下蛙人事件序列和RGB图像,设计RGB残差学习模块,用于充分提取水下蛙人RGB图像空间特征信息,设计事件残差学习模块,用于充分提取水下蛙人事件图像纹理特征信息,设计特征融合网络,使水下蛙人RGB图像特征信息与水下蛙人事件图像特征信息进行细粒度特征融合。本发明所述方法可以应用在水下目标检测技术领域、水下航行安全检测领域以及水下目标识别设备制造领域。

    一种基于跨模态融合的水下视觉目标测距方法及装置

    公开(公告)号:CN116309781B

    公开(公告)日:2023-08-22

    申请号:CN202310557817.8

    申请日:2023-05-18

    Applicant: 吉林大学

    Abstract: 本申请公开了一种基于跨模态融合的水下视觉目标测距方法及装置,属于水下机器视觉技术领域,包括:获取水下的事件序列和RGB帧;通过体素网格方式对事件序列进行分段表征;对事件序列和RGB帧进行特征编码得到相应的特征描述子;通过自注意力机制对事件序列和RGB帧进行空间关系提取,得到用于描述局部事件与时空全局事件之间关系的依赖关系;根据特征描述子和依赖关系对事件序列和RGB帧进行特征融合,得到跨模态融合信息;根据跨模态融合信息进行预测并得到水下视觉目标距离。通过将事件和RGB两种数据模态跨模态融合,有效提升水下视觉目标距离估计的准确率。适用于为水下三维重建、目标检测、识别追踪等任务提供新的数据表达。

Patent Agency Ranking