公开(公告)号：CN118799713A

公开(公告)日：2024-10-18

申请号：CN202410943923.4

申请日：2024-07-15

Applicant: 北方工业大学

Inventor： 张晓平 ,  李乔辰 ,  王晶 ,  王力 ,  邢睿尧 ,  刘世达 ,  周萌 ,  段志杰 ,  杜涛

IPC: G06V20/00 ,  G06N3/045 ,  G06N3/0464 ,  G06V10/44 ,  G06V10/40 ,  G06V10/80 ,  G06V10/82 ,  G06V10/26 ,  G06V20/70

Abstract: 本发明属于实时场景理解领域，提供了一种基于Transformer模型的实时场景理解方法，包括：数据采集、数据预处理、数据标注、特征提取、特征融合、语义分割、高维特征提取以及高维特征解码。本发明通过采集图像原始数据、点云原始数据以及环境信息，丰富了识别数据，提高了低光照条件下模型的识别精度；通过图像特征和空间特征融合和语义分割，提高了模型的训练效率。

公开(公告)号：CN118840725B

公开(公告)日：2025-03-21

申请号：CN202410944126.8

申请日：2024-07-15

Applicant: 北方工业大学

Inventor： 张晓平 ,  李乔辰 ,  王晶 ,  王力 ,  邢睿尧 ,  周萌 ,  刘世达 ,  杜涛 ,  段志杰

IPC: G06V20/56 ,  G06N3/08 ,  G06V10/82 ,  G06V10/774 ,  G06V10/80 ,  G06V10/40 ,  G06V10/77

Abstract: 本发明提供了一种基于图注意力网络的多任务场景理解方法。包括以下步骤：采集数据并进行标注记录，得到多模态数据集；基于多模态数据集，得到所有物体的类别信息；再寻找每个物体的相对位置信息并转换为全局位置信息，同时添加当前时间的环境信息生成综合数据表示；设计预设规则，生成场景模型；利用损失函数和图注意神经网络进行场景模型的迭代训练，得到训练好的场景模型并进行多种场景分析任务，通过场景分析结果推理场景的整体情况。本发明能够提升多模态数据融合效率、简化数据对齐和同步处理过程、全面集成与分析环境信息、增强全局场景理解能力、同时进行多种场景理解任务，实现对复杂场景的全面感知和智能推理。

公开(公告)号：CN118840725A

公开(公告)日：2024-10-25

申请号：CN202410944126.8

申请日：2024-07-15

Applicant: 北方工业大学

Inventor： 张晓平 ,  李乔辰 ,  王晶 ,  王力 ,  邢睿尧 ,  周萌 ,  刘世达 ,  杜涛 ,  段志杰

IPC: G06V20/56 ,  G06N3/08 ,  G06V10/82 ,  G06V10/774 ,  G06V10/80 ,  G06V10/40 ,  G06V10/77

Abstract: 本发明提供了一种基于图注意力网络的多任务场景理解方法。包括以下步骤：采集数据并进行标注记录，得到多模态数据集；基于多模态数据集，得到所有物体的类别信息；再寻找每个物体的相对位置信息并转换为全局位置信息，同时添加当前时间的环境信息生成综合数据表示；设计预设规则，生成场景模型；利用损失函数和图注意神经网络进行场景模型的迭代训练，得到训练好的场景模型并进行多种场景分析任务，通过场景分析结果推理场景的整体情况。本发明能够提升多模态数据融合效率、简化数据对齐和同步处理过程、全面集成与分析环境信息、增强全局场景理解能力、同时进行多种场景理解任务，实现对复杂场景的全面感知和智能推理。