公开(公告)号：CN117745596B

公开(公告)日：2024-06-11

申请号：CN202410182761.7

申请日：2024-02-19

Applicant: 吉林大学

Inventor： 姜宇 ,  张永霁 ,  魏枫林 ,  赵明浩 ,  齐红 ,  王跃航 ,  郭千仞

IPC: G06T5/77 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/0499 ,  G06N3/08 ,  G06T5/50 ,  G06T5/60

Abstract: 一种基于跨模态融合的水下去遮挡方法。本发明属于水下机器视觉的技术领域，具体而言，涉及事件和RGB两种数据模态深度融合方法，以及基于事件和RGB数据的水下场景去遮挡重建方法。本发明提供了一种基于跨模态融合的水下去遮挡方法，解决了现有技术中在水下去遮挡时都是先将事件序列与RGB图像各自的特征先进行编码后再融合，此种处理方式容易导致模型计算量和硬件要求翻倍，无法适配于资源受限的水下环境的问题。本发明所述方法将事件序列与RGB图像直接进行融合，然后再进行编码解码，在前融合阶段进行数据融合，减少了系统对计算量的要求，使网络更加轻量化。

公开(公告)号：CN117557795B

公开(公告)日：2024-03-29

申请号：CN202410035082.7

申请日：2024-01-10

Applicant: 吉林大学

Inventor： 姜宇 ,  郭千仞 ,  魏枫林 ,  赵明浩 ,  齐红 ,  王凯 ,  王跃航

IPC: G06V10/26 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V20/05

Abstract: 本申请提供了一种基于多源数据融合的水下目标语义分割方法,属于水下机器视觉语义分割技术领域。步骤1、获取水下目标事件图像与RGB图像所构建的数据集，划分训练集与验证集；步骤2、设计跨模态注意力模块及跨通道注意力模块；步骤3、将跨模态注意力模块与跨通道注意力模块嵌入到所设计的多源数据融合模块中；步骤4、将多源数据融合模块嵌入到构建的语义分割模型中，并训练及验证语义分割模型；步骤5、使用步骤4的语义分割模型对水下目标进行语义分割。利用事件相机获取水下目标事件序列和RGB图像，将水下目标事件序列和RGB图像信息进行高效充分的数据特征信息融合，为水下目标语义分割提供丰富的特征信息。

公开(公告)号：CN115757386B

公开(公告)日：2023-04-11

申请号：CN202310023123.6

申请日：2023-01-09

Applicant: 吉林大学

Inventor： 姜宇 ,  齐红 ,  赵明浩 ,  王跃航 ,  李敬松 ,  魏枫林 ,  王凯

IPC: G06F16/215 ,  G06F18/2433 ,  G06F18/15 ,  G06F18/2135 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/082 ,  G06N3/084

Abstract: 海洋空间观测数据的异常检测方法、系统、设备与介质，属于海洋空间数据、数据异常检测技术领域。获取海洋空间的每个观测点分别观测的不同深度数据，将其组成数据集；将数据集中的低质量的深度数据进行排除后，对数据集进行归一化，判断某一观测点观测的不同深度数据是否出现异常，若出现异常，对该观测点观测的不同深度数据进行缩放，再对数据集进行缩放后，对数据集进行降维，将数据集组成图像形式；对图像进行zero‑padding，构建CoordConv层；将图像输入到卷积神经网络模型中，并基于构建的CoordConv层，构建Bicubic+CoordConv+Pool卷积神经网络模型；对构建的卷积神经网络模型进行训练；将待检测数据输入训练好的卷积神经网络模型，进行异常值检测。

公开(公告)号：CN115757857A

公开(公告)日：2023-03-07

申请号：CN202310024866.5

申请日：2023-01-09

Applicant: 吉林大学

Inventor： 姜宇 ,  于慧勇 ,  宋建军 ,  齐红 ,  赵明浩 ,  王跃航

IPC: G06F16/583 ,  G06F16/242 ,  G06F16/532 ,  G06V10/42 ,  G06V10/44 ,  G06V10/77 ,  G06V10/82 ,  G06V20/05 ,  G06V20/64

Abstract: 一种水下三维跨模态联合检索方法、存储介质和电子设备，涉及水下三维视觉技术领域，实现了水下目标生物的精准检索。S1、利用全局特征提取器和局部特征提取器分别对多模态水下目标数据进行特征提取，得到对应不同源域空间的全局特征描述子和局部特征描述子集合，并分别映射到高维语义空间；S2、针对映射到高维语义空间的局部特征描述子集合，使用双线性池化方法将局部特征描述子集合映射为局部特征集合紧致描述子；S3、隐式建模全局特征描述子与局部特征集合紧致描述子，生成统一的域间差异层次特征表达；S4、使用跨模态中心损失函数和平方差损失函数联合优化跨模态检索网络，最终获得在多个目标模态之间精确的检索结果。

公开(公告)号：CN117911303A

公开(公告)日：2024-04-19

申请号：CN202410295730.2

申请日：2024-03-15

Applicant: 吉林大学

Inventor： 姜宇 ,  王跃航 ,  赵明浩 ,  齐红 ,  魏枫林 ,  王凯 ,  张永霁 ,  初琦

IPC: G06T5/90 ,  G06T5/70 ,  G06T5/73 ,  G06T5/60 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82

Abstract: 一种面向水下弱光场景的图像质量增强方法及装置，涉及水下机器视觉技术领域，该方法包括：采集水下弱光场景数据；基于Restormer模型对所述弱光场景数据集进行特征提取，得到外观特征信息；基于带有条件信息的扩散模型对所述弱光场景数据进行特征提取，得到细节特征信息；基于ResNet模型将所述外观特征信息和所述细节特征信息在语义空间中合并，并将融合特征在通道维度结合，通过所述ResNet模型的解码器在像素空间中重建并输出增强图像；该方法利用RGB数据，实现一种面向水下弱光场景的图像质量增强方法，重建清晰的水下弱光增强图片，为水下的目标检测、追踪、深度估计等任务提供高质量鲁棒的视觉表达。

公开(公告)号：CN117557795A

公开(公告)日：2024-02-13

申请号：CN202410035082.7

申请日：2024-01-10

Applicant: 吉林大学

Inventor： 姜宇 ,  郭千仞 ,  魏枫林 ,  赵明浩 ,  齐红 ,  王凯 ,  王跃航

IPC: G06V10/26 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/774 ,  G06V10/80 ,  G06V10/82 ,  G06V20/05

Abstract: 本申请提供了一种基于多源数据融合的水下目标语义分割方法,属于水下机器视觉语义分割技术领域。步骤1、获取水下目标事件图像与RGB图像所构建的数据集，划分训练集与验证集；步骤2、设计跨模态注意力模块及跨通道注意力模块；步骤3、将跨模态注意力模块与跨通道注意力模块嵌入到所设计的多源数据融合模块中；步骤4、将多源数据融合模块嵌入到构建的语义分割模型中，并训练及验证语义分割模型；步骤5、使用步骤4的语义分割模型对水下目标进行语义分割。利用事件相机获取水下目标事件序列和RGB图像，将水下目标事件序列和RGB图像信息进行高效充分的数据特征信息融合，为水下目标语义分割提供丰富的特征信息。

公开(公告)号：CN116935203B

公开(公告)日：2023-11-21

申请号：CN202311195467.1

申请日：2023-09-18

Applicant: 吉林大学

Inventor： 姜宇 ,  魏枫林 ,  赵明浩 ,  王圣钦 ,  张永霁 ,  王跃航

IPC: G06V20/05 ,  G06N3/042 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/44 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82 ,  G01S15/86 ,  G01S7/539 ,  G01S15/88 ,  G01C21/00

公开(公告)号：CN116502075B

公开(公告)日：2023-09-12

申请号：CN202310771145.0

申请日：2023-06-28

Applicant: 吉林大学

Inventor： 姜宇 ,  张凯欣 ,  齐红 ,  赵明浩 ,  王跃航 ,  阮寒涛

IPC: G06F18/213 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06F18/2433 ,  G06F18/25 ,  G01D21/02

Abstract: 多模态水下自主航行器状态检测方法及系统。属于状态检测技术领域，具体涉及自主水下航行器状态检测技术领域。其解决了现有的异常状态检测无法有效地应对多模态的传感器数据，忽略了不同模态数据之间的差异的问题。所述方法包括如下步骤：S1、输入水下自主航行器各系统传感器数据；S2、通过挤压与激励操作对每个模态的信号进行加权，然后进行缩放；S3、通过带残差连自注意力机制提取模态特征；S4、通过挤压与激励操作对不同模态进行特征融合；S5、对融合后的特征进行决策分类，输出各个类别的预测概率。本发明所述方法及系统可以应用在自主水下航行器状态检测技术领域、自主水下航行器故障检测技术领域以及自主水下航行器设计制造技术领域。

公开(公告)号：CN116502075A

公开(公告)日：2023-07-28

申请号：CN202310771145.0

申请日：2023-06-28

Applicant: 吉林大学

Inventor： 姜宇 ,  张凯欣 ,  齐红 ,  赵明浩 ,  王跃航 ,  阮寒涛

IPC: G06F18/213 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08 ,  G06F18/2433 ,  G06F18/25 ,  G01D21/02

Abstract: 多模态水下自主航行器状态检测方法及系统。属于状态检测技术领域，具体涉及自主水下航行器状态检测技术领域。其解决了现有的异常状态检测无法有效地应对多模态的传感器数据，忽略了不同模态数据之间的差异的问题。所述方法包括如下步骤：S1、输入水下自主航行器各系统传感器数据；S2、通过挤压与激励操作对每个模态的信号进行加权，然后进行缩放；S3、通过带残差连自注意力机制提取模态特征；S4、通过挤压与激励操作对不同模态进行特征融合；S5、对融合后的特征进行决策分类，输出各个类别的预测概率。本发明所述方法及系统可以应用在自主水下航行器状态检测技术领域、自主水下航行器故障检测技术领域以及自主水下航行器设计制造技术领域。

公开(公告)号：CN115883764B

公开(公告)日：2023-05-23

申请号：CN202310076493.6

申请日：2023-02-08

Applicant: 吉林大学

Inventor： 姜宇 ,  齐红 ,  赵明浩 ,  王跃航 ,  张永霁 ,  魏枫林 ,  王凯

IPC: H04N7/01 ,  H04N5/265 ,  G06N3/0464

Abstract: 一种基于数据协同的水下高速视频插帧方法及其系统。通过传统相机和事件相机分别获取RGB数据和事件数据；将获取的RGB数据和事件数据利用U型合成网络融合，获取合成结果；利用合成结果和获取的RGB数据经过三层多尺度光流估计网络进行帧光流估计；利用获取的RGB数据和事件数据经过三层多尺度光流估计网络进行事件光流估计；将融合结果、经过三层多尺度光流估计网络进行的帧光流估计结果与经过三层多尺度光流估计网络进行的事件光流估计通过U型融合网络进行融合，输出中间帧。本发明实现利用RGB数据和事件数据生成视频的中间帧，提高视频的帧率，优化在水下场景下非线性运动下插帧效果的鲁棒性。