公开(公告)号：CN118334340A

公开(公告)日：2024-07-12

申请号：CN202410500973.5

申请日：2024-04-24

Applicant: 哈尔滨工业大学

Inventor： 曹政才 ,  孙伊扬 ,  马哲 ,  牟洪民 ,  石胤斌 ,  夏霁

IPC: G06V10/26 ,  G06V10/70 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/045 ,  G06N3/048

Abstract: 本发明公开一种上下文强化的全分辨率平面布局图分割方法，具体涉及到图像处理和深度学习技术领域。首先基于改进的U形编码器‑解码器结构设计语义分割模型，采用串联残差块设计，旨在扩展全分辨率感知能力，同时维持网络架构的紧凑性；其次，引入分层特征融合模块，有效地合并残差块生成的特征与相邻阶段的上采样与下采样特征，以增强特征的综合表现力；再次，在网络最后一层加入位置注意力模块，用于深入挖掘类别间的上下文依赖关系；最后，在解码阶段设计了一个二维深度监督模块用于集成全分辨率信息以及多尺度上下文信息，提升了平面布局图边界元素的语义分割精度。本发明能够实现对平面布局图边界元素的高精度和高效率语义分割。

公开(公告)号：CN119131261A

公开(公告)日：2024-12-13

申请号：CN202411265868.4

申请日：2024-09-10

Applicant: 哈尔滨工业大学

Inventor： 曹政才 ,  马哲 ,  孙伊扬 ,  牟洪民 ,  夏霁

IPC: G06T17/00 ,  G06T17/05 ,  G06V10/26 ,  G06T15/00 ,  G06V10/44 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06T19/20

Abstract: 一种面向复杂室内场景的语义‑高程图构建方法涉及高程图构建领域。首先，使用深度相机采集周围环境的图像信息，通过YOLACT语义分割网络，生成语义分割掩码；其次，利用相机内外参数，通过坐标变换对齐深度相机点云数据与图像数据；再次，根据语义分割掩码，将点云RGB值修改为对应的类别颜色，得到通过颜色编码表示语义信息的点云；最后利用语义点云中每个点的三维坐标计算其相对于相机平面的高度并生成高程图，根据点云的RGB值为高程图引入具体的语义信息，构建语义‑高程图。本发明解决了面对复杂室内环境时，由于语义信息缺失导致难以进行有效的导航决策和规划的问题，为基于高程图的导航方法提供了更安全、更准确的解决方案。

公开(公告)号：CN118864285A

公开(公告)日：2024-10-29

申请号：CN202411149266.2

申请日：2024-08-21

Applicant: 哈尔滨工业大学

Inventor： 曹政才 ,  夏霁 ,  牟洪民 ,  孙伊扬 ,  马哲

IPC: G06T5/60 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明涉及图像描述技术领域，公开了一种基于因果干预的多特征增强型图像描述方法。首先使用深度卷积层和单一卷积层分别提取输入图像的网格特征和浅层特征。其次，设计带有位置信息增强的注意力模块，获取包含几何信息的网格特征和浅层特征。再次，构建扩展序列模块融合网格特征和浅层特征以获得完整的视觉特征。最后，提出因果调整解码块，通过切断视觉特征和语言特征间的虚假因果关系去除混淆效应，并联合视觉特征和文本特征进行解码，生成图像的自然语言描述。本发明解决了现有图像描述方法缺乏细节表述、易产生混淆的问题，有利于模型在实际场景下的部署和应用。

公开(公告)号：CN118351312A

公开(公告)日：2024-07-16

申请号：CN202410525770.1

申请日：2024-04-29

Applicant: 哈尔滨工业大学

Inventor： 曹政才 ,  牟洪民 ,  张港 ,  孙伊扬 ,  石胤斌 ,  马哲 ,  夏霁

IPC: G06V10/26 ,  G06V20/70 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/75 ,  G06V10/764 ,  G06V10/766 ,  G06V10/82 ,  G06T5/90 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/088 ,  G06N3/09 ,  G06N3/084 ,  G06N3/0985 ,  G06N3/048

Abstract: 一种低光照场景端到端语义分割方法属于机器人感知和计算机视觉领域。本发明提出了一种分层门控卷积单元，该单元能够扩展网络的深层特征感受野并恢复边缘纹理。为了解决对象之间纹理特征对比对低问题，本发明提出了一种双闭环二分匹配算法，以建立一个同时考虑无监督照明增强损失和有监督并集损失的总损失范式，从而通过匈牙利算法将这两种损失联合最小化。该方法因此可实现低光照场景端到端语义分割。训练数据中常见和稀疏类样本的长尾分布导致网络对常见类别与稀有类别的特征学习偏差。对此，本发明设计了稀有类采样策略，以便在训练过程中提高稀有类的采样概率，从而得到具有优异性能的模型。