公开(公告)号：CN115880397A

公开(公告)日：2023-03-31

申请号：CN202211315077.9

申请日：2022-10-26

Applicant: 北京化工大学

Inventor： 曹政才 ,  孙伊扬 ,  马哲 ,  牟洪民 ,  石胤斌 ,  张港 ,  夏霁

IPC: G06T11/40 ,  G06T7/66 ,  G06T5/30 ,  G06T5/00 ,  G06V30/148 ,  G06V30/19 ,  G06V30/422

Abstract: 本发明公开一种面向助盲场景的拓扑语义地图构建方法。首先，对采集的平面布局图进行基于图像处理算法的预处理；其次，采用基于聚类算法的非监督图像分割与OCR文字识别相融合的网络结构初步分割出平面布局图中通行区域的蒙版，并通过种子填充进行筛选；再次，拟合生成通行区域内的交叉口节点并检测提取房间节点与名称信息；最后，匹配节点生成连通关系，建立加权距离矩阵，结合Floyd算法计算输出平面布局图中端到端的最短路径，构建包含路径指引信息的拓扑语义地图。本发明应用于助盲场景中，建立陌生室内环境中平面布局图的快速解析机制，实现满足助盲导航要求的包含指引信息的拓扑语义地图构建。

公开(公告)号：CN117237798A

公开(公告)日：2023-12-15

申请号：CN202310819161.2

申请日：2023-07-05

Applicant: 北京化工大学

Inventor： 曹政才 ,  石胤斌 ,  夏霁 ,  孙伊扬 ,  牟洪民 ,  马哲

IPC: G06V20/10 ,  G06V10/44 ,  G06V10/80 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/08

Abstract: 一种面向助盲场景的多特征快速推理的图像描述方法涉及图像描述技术领域。本发明包括以下步骤：首先使用深度卷积层提取场景图像的网格特征并计算每个网格间的几何关系。其次，用Transformer编码展平后的场景图像得到浅层补丁特征。再次，构建自适应共享Transformer块融合网格特征和浅层补丁特征并自适应计算每个特征的贡献度。最后，联合最终视觉表示和任务自适应向量进行解码，生成图像的自然语言描述。本发明解决助盲场景中现有图像描述方法缺乏细节表述、推理速度慢的问题，该方法在提高模型性能的同时，轻量化模型并提高推理速度，利于模型在助盲场景下的部署和应用。

公开(公告)号：CN115908466A

公开(公告)日：2023-04-04

申请号：CN202211313412.1

申请日：2022-10-26

Applicant: 北京化工大学

Inventor： 曹政才 ,  牟洪民 ,  张港 ,  孙伊扬 ,  石胤斌 ,  马哲 ,  夏霁

IPC: G06T7/13 ,  G06T7/11 ,  G06T3/40 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06F17/16 ,  G06V10/44 ,  G06V10/82

Abstract: 本发明公开一种助盲场景动态避障方法。首先，构建一种基于残差块内构造层次化类残差结构的特征提取模块，可扩大深层特征的感受野。其次，设计了基于双线性插值与转置卷积上采样的空间特征恢复模块，使分割边缘更加精确。再次，使用离散采样策略提取障碍物的类别信息，距离信息与轮廓信息，通过考虑安全距离约束的启发式搜索算法进行路径规划。最后，假设了避障提醒系统的优先级规则与逻辑顺序规则，结合所规划路径生成决策，通过听觉触觉信息有效指引盲人避障。本发明解决了单阶段实例分割算法难以同时高精度分割小目标障碍物与背景路面的问题，克服了实例分割结果难以为助盲场景避障决策提供有效信息的困难，可以使盲人用户更加智能自主地避障。

公开(公告)号：CN116343185A

公开(公告)日：2023-06-27

申请号：CN202211549324.1

申请日：2022-12-05

Applicant: 北京化工大学

Inventor： 曹政才 ,  石胤斌 ,  孙伊扬 ,  牟洪民 ,  夏霁 ,  马哲 ,  张港

IPC: G06V20/62 ,  G06V20/70 ,  G06V10/44 ,  G06V10/26 ,  G06V10/774 ,  G06F40/30 ,  G06F40/211 ,  G06V30/18

Abstract: 一种面向助盲领域的指示牌语义信息提取方法，具体涉及到图像处理和深度学习技术领域。首先设计图像描述模型，其中使用视觉transformer作为编码器进行图像特征提取，多个tranformer结构组成解码器用于生成语义描述。其次，通过助盲设备采集各种室内场景包含指示牌的图像并制作数据集，用于对预训练好的图像描述模型进行微调和测试；再次，采用目标识别模块从通过助盲设备捕获的图像中提取指示牌图像并进行倾斜矫正；最后，将指示牌图像进行分块，线性投影为固定维度向量作为编码器的输入经过图像描述模型生成对指示牌的语义信息描述。本发明将助盲设备捕获到的指示牌图像转化为自然语言描述，为盲人在陌生环境自主行走提供支撑。