一种基于跨模态融合的水下去遮挡方法

    公开(公告)号:CN117745596B

    公开(公告)日:2024-06-11

    申请号:CN202410182761.7

    申请日:2024-02-19

    Applicant: 吉林大学

    Abstract: 一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域,具体而言,涉及事件和RGB两种数据模态深度融合方法,以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法,解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合,此种处理方式容易导致模型计算量和硬件要求翻倍,无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合,然后再进行编码解码,在前融合阶段进行数据融合,减少了系统对计算量的要求,使网络更加轻量化。

    基于多源数据融合的水下目标语义分割方法及系统

    公开(公告)号:CN117557795B

    公开(公告)日:2024-03-29

    申请号:CN202410035082.7

    申请日:2024-01-10

    Applicant: 吉林大学

    Abstract: 本申请提供了一种基于多源数据融合的水下目标语义分割方法,属于水下机器视觉语义分割技术领域。步骤1、获取水下目标事件图像与RGB图像所构建的数据集,划分训练集与验证集;步骤2、设计跨模态注意力模块及跨通道注意力模块;步骤3、将跨模态注意力模块与跨通道注意力模块嵌入到所设计的多源数据融合模块中;步骤4、将多源数据融合模块嵌入到构建的语义分割模型中,并训练及验证语义分割模型;步骤5、使用步骤4的语义分割模型对水下目标进行语义分割。利用事件相机获取水下目标事件序列和RGB图像,将水下目标事件序列和RGB图像信息进行高效充分的数据特征信息融合,为水下目标语义分割提供丰富的特征信息。

    海洋空间观测数据的异常检测方法、系统、设备与介质

    公开(公告)号:CN115757386B

    公开(公告)日:2023-04-11

    申请号:CN202310023123.6

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 海洋空间观测数据的异常检测方法、系统、设备与介质,属于海洋空间数据、数据异常检测技术领域。获取海洋空间的每个观测点分别观测的不同深度数据,将其组成数据集;将数据集中的低质量的深度数据进行排除后,对数据集进行归一化,判断某一观测点观测的不同深度数据是否出现异常,若出现异常,对该观测点观测的不同深度数据进行缩放,再对数据集进行缩放后,对数据集进行降维,将数据集组成图像形式;对图像进行zero‑padding,构建CoordConv层;将图像输入到卷积神经网络模型中,并基于构建的CoordConv层,构建Bicubic+CoordConv+Pool卷积神经网络模型;对构建的卷积神经网络模型进行训练;将待检测数据输入训练好的卷积神经网络模型,进行异常值检测。

    一种水下三维跨模态联合检索方法、存储介质和电子设备

    公开(公告)号:CN115757857A

    公开(公告)日:2023-03-07

    申请号:CN202310024866.5

    申请日:2023-01-09

    Applicant: 吉林大学

    Abstract: 一种水下三维跨模态联合检索方法、存储介质和电子设备,涉及水下三维视觉技术领域,实现了水下目标生物的精准检索。S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取,得到对应不同源域空间的全局特征描述子和局部特征描述子集合,并分别映射到高维语义空间;S2、针对映射到高维语义空间的局部特征描述子集合,使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子;S3、隐式建模全局特征描述子与局部特征集合紧致描述子,生成统一的域间差异层次特征表达;S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络,最终获得在多个目标模态之间精确的检索结果。

    基于增量朴素贝叶斯网多分类器集成方法

    公开(公告)号:CN101251851A

    公开(公告)日:2008-08-27

    申请号:CN200810050425.8

    申请日:2008-02-29

    Applicant: 吉林大学

    Abstract: 一种基于增量朴素贝叶斯网多分类器集成方法,包括初始化集成分类器及各主要参数;如果没有新数据,结束;使用当前集成分类器预测新数据项的类别;动态更新所有个体分类器的参数值;更新所有个体分类器的权重;如果当前集成分类器对新数据的类别预测不发生错误,则使用新数据项训练集成分类器中的所有个体分类器;根据KL剪枝策略删除冗余个体分类器;增加一个新个体分类器;使用新数据项训练所有个体分类器。本发明能有效改善发生概念漂移时的分类预测结果。此方法特别适合于处理概念漂移问题。

    一种面向机动目标的水下自主航行器跟踪控制方法

    公开(公告)号:CN118276591A

    公开(公告)日:2024-07-02

    申请号:CN202410685425.4

    申请日:2024-05-30

    Applicant: 吉林大学

    Abstract: 本发明提出了一种面向机动目标的水下自主航行器跟踪控制方法,属于动态目标跟踪技术领域,利用历史海洋生物数据生成水下机动目标的运动模型,根据水下航行器数据构建航行器动态目标跟踪仿真模型,设计多因素状态应对目标的机动性能,通过智能体从模拟环境中获取当前的状态信息,输入到行动者网络从而实现对智能体的控制,并将过程中使用及生成的数据存储到重放缓冲器中,智能体从重放缓冲器中读取数据,并将每一条数据中的智能体状态及生成的控制量动作输入到评论家网络,得到该条数据中动作的价值,并通过计算损失更新行动者和评论家网络。

    一种自主水下机器人的洋流自适应控制方法

    公开(公告)号:CN118276449A

    公开(公告)日:2024-07-02

    申请号:CN202410685421.6

    申请日:2024-05-30

    Applicant: 吉林大学

    Abstract: 本发明提出了一种自主水下机器人的洋流自适应控制方法,属于水下机器人技术领域,通过在仿真环境中模拟多种洋流条件对AUV的影响,对控制算法进行深入训练,构建一个元学习模型,基于深层次洞察来迅速调整其控制参数,以适应实际遇到的特定洋流条件;本发明利用元强化学习方法,提供了一种有效的机制,使AUV能在面对动态海洋环境时展现出更高的适应性和灵活性;这不仅增强了AUV在复杂海洋任务中的性能和可靠性,也为水下机器人的智能控制领域带来了新的技术突破。

    一种基于跨模态融合的水下目标三维配准方法

    公开(公告)号:CN117765048B

    公开(公告)日:2024-06-11

    申请号:CN202410195664.1

    申请日:2024-02-22

    Applicant: 吉林大学

    Abstract: 一种基于跨模态融合的水下目标三维配准方法,属于水下三维视觉技术领域,解决了现有技术无法有效地融合激光点云和深度图这两种数据源,在发挥各自的优势的同时,克服各自的局限性的问题。读取待配准的深度图,获得待配准的深度图投影图;读取待配准的激光点云,获得待配准的激光点云投影图;将待配准的深度图投影图与待配准的激光点云投影图进行匹配;根据匹配结果计算出配准角度差,根据配准角度差计算出粗配准旋转矩阵和粗配准平移矩阵;对粗配准旋转矩阵和粗配准平移矩阵进行精配准,获得精配准旋转矩阵和精配准平移矩阵,实现了深度图投影图与激光点云投影图的配准。

    一种红外偏振成像数据的水下目标细粒度分类方法

    公开(公告)号:CN117746227B

    公开(公告)日:2024-06-11

    申请号:CN202410182760.2

    申请日:2024-02-19

    Applicant: 吉林大学

    Abstract: 本发明属于水下机器视觉技术领域,本发明公开了一种红外偏振成像数据的水下目标细粒度分类方法,包括以下步骤:基于偏振相机获取图像构建水下基准数据集;利用交叠的滑动窗口对所述水下基准数据集中的所述红外偏振图像进行划分并编码,得到编码结果,并输入预训练视觉变换器编码器的共L层变换器层中,得到多层级的视觉特征和多层级的注意力图;利用前L‑1层每一层级的所述注意力图对自注意动态加权得到多层级动态注意力权重,并进行特征选择,得到特征组1;利用前L‑1层每一层级的注意力图对每一层级的特征进行前k个选择,得到多层级优化特征组2;将特征组1和特征组2输入第L层变换器层中,利用类别序列通过全连接层计算最终的类别。

Patent Agency Ranking