公开(公告)号：CN117853856B

公开(公告)日：2024-07-30

申请号：CN202410031296.7

申请日：2024-01-09

Applicant: 中国矿业大学

Inventor： 申政文 ,  秦新芳 ,  冉伊阳 ,  李玉莲 ,  王军

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/045 ,  G06V10/44 ,  G06V10/42

Abstract: 本发明公开了一种基于多模态图像融合的微光夜视场景理解方法，属于人工智能技术，根据层级多模态特征信息的特点，构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习；构建跨模态全局特征描述模块以减少模态间的信息差异，实现多模态特征信息的校准；构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合；构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势，避免单一模态信息导致微光夜视场景理解能力不足，能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。

公开(公告)号：CN118691993A

公开(公告)日：2024-09-24

申请号：CN202410828881.X

申请日：2024-06-25

Applicant: 中国矿业大学

Inventor： 李玉莲 ,  冉伊阳 ,  李亚萌 ,  李富强 ,  王军 ,  杨志勇

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/096 ,  G06N3/045

Abstract: 本发明公开了一种基于跨层级特征蒸馏的航拍图像目标检测方法，包括：提取预训练教师网络掩码图和学生网络掩码图，基于预训练教师网络掩码图和学生网络掩码图构建查询模块，基于查询模块对不同尺度的目标进行跨层级特征蒸馏，利用预训练教师网络的多层特征信息来指导学生网络的单层特征信息，增强预训练教师网络和学生网络间的语义信息匹配度。本发明提出基于查询模块的跨层级特征蒸馏的策略，通过查询模块在对应尺度上做损失，可以让学生网络更好地学习到来自预训练教师网络的知识，同时在不增加网络参数量的前提下，能够提高学生网络的检测性能，在星载平台的部署上具有一定优势。

公开(公告)号：CN118691993B

公开(公告)日：2025-02-28

申请号：CN202410828881.X

申请日：2024-06-25

Applicant: 中国矿业大学

Inventor： 李玉莲 ,  冉伊阳 ,  李亚萌 ,  李富强 ,  王军 ,  杨志勇

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06N3/096 ,  G06N3/045

Abstract: 本发明公开了一种基于跨层级特征蒸馏的航拍图像目标检测方法，包括：提取预训练教师网络掩码图和学生网络掩码图，基于预训练教师网络掩码图和学生网络掩码图构建查询模块，基于查询模块对不同尺度的目标进行跨层级特征蒸馏，利用预训练教师网络的多层特征信息来指导学生网络的单层特征信息，增强预训练教师网络和学生网络间的语义信息匹配度。本发明提出基于查询模块的跨层级特征蒸馏的策略，通过查询模块在对应尺度上做损失，可以让学生网络更好地学习到来自预训练教师网络的知识，同时在不增加网络参数量的前提下，能够提高学生网络的检测性能，在星载平台的部署上具有一定优势。

公开(公告)号：CN119131632A

公开(公告)日：2024-12-13

申请号：CN202411254438.2

申请日：2024-09-09

Applicant: 中国矿业大学

Inventor： 王军 ,  冉伊阳 ,  李玉莲 ,  申政文 ,  李亚萌 ,  杨志勇

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/774 ,  G06V10/52 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G06N3/045 ,  G06N3/096 ,  G06N3/0464

Abstract: 本发明公开了一种基于分类‑定位双分支交互蒸馏的航拍图像目标检测方法，包括预训练教师网络、学生网络、交互蒸馏区域选择模块、自适应生成蒸馏模块，通过构建交互蒸馏区域选择模块，使预训练教师网络和学生网络检测头的知识相互指导，动态选择出最优的蒸馏区域；在学生网络检测头分类分支集成自适应生成蒸馏模块，通过对其分类分支的输出特征层进行掩码，使其自适应地重建预训练教师网络的输出特征层，进一步增强了学生网络的学习能力；最后，引入KL散度损失来对蒸馏区域进行约束。本发明实现了预训练教师网络和学生网络蒸馏过程中分类和定位两个任务之间的交互，在低参数量的同时，有效提升了学生网络的检测精度和速度。

公开(公告)号：CN119131631A

公开(公告)日：2024-12-13

申请号：CN202411254436.3

申请日：2024-09-09

Applicant: 中国矿业大学

Inventor： 李玉莲 ,  冉伊阳 ,  韩淑雨 ,  李亚萌 ,  王军 ,  杨志勇

IPC: G06V20/17 ,  G06V10/25 ,  G06V10/82 ,  G06V10/774 ,  G06V10/52 ,  G06V10/28 ,  G06N3/045 ,  G06N3/096 ,  G06N3/042 ,  G06N3/0464

Abstract: 本发明公开了一种基于双重特征关系蒸馏的航拍图像目标检测方法，首先构建特征解耦关系蒸馏模块，将所有多尺度特征解耦为目标特征和非目标特征，进而分别蒸馏目标特征间的关系和非目标特征间的关系，促使学生网络理解不同特征间的关联性，再构建局部逐像素关系蒸馏模块，采用分块学习的策略，利用图卷积计算每个块特征图间的内部关系，使网络更专注于学习和捕捉局部逐像素的关系，从而显著提高网络对局部细节的感知和表达能力。本发明全面地考虑了中间特征的关系，通过解耦操作和分块学习，使得学生网络能够更好地理解和学习教师网络中丰富的特征关系表示，有效提高了学生网络的检测性能，实现了航拍图像目标检测模型的轻量化。

公开(公告)号：CN117853856A

公开(公告)日：2024-04-09

申请号：CN202410031296.7

申请日：2024-01-09

Applicant: 中国矿业大学

Inventor： 申政文 ,  秦新芳 ,  冉伊阳 ,  李玉莲 ,  王军

IPC: G06V10/80 ,  G06V10/774 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/045 ,  G06V10/44 ,  G06V10/42

Abstract: 本发明公开了一种基于多模态图像融合的微光夜视场景理解方法，属于人工智能技术，根据层级多模态特征信息的特点，构建不同特征校准和特征聚合模块以增强多模态特征信息的联合表示学习；构建跨模态全局特征描述模块以减少模态间的信息差异，实现多模态特征信息的校准；构建多模态交错稀疏自注意力模块来保证浅层网络层中多模态空间特征信息的聚合；构建对称金字塔池化交叉注意力模块与多模态跨通道通信模块用于聚合深层特征的空间层信息和通道层信息。本发明能够充分利用多模态特征信息互补优势，避免单一模态信息导致微光夜视场景理解能力不足，能够在夜间城市道路自动驾驶和地下空间暗弱无人导航系统中应用。