公开(公告)号：CN116824303B

公开(公告)日：2024-01-26

申请号：CN202310820388.9

申请日：2023-07-06

Applicant: 哈尔滨工业大学

Inventor： 李惠 ,  徐阳 ,  胡澍东

IPC: G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提出基于损伤驱动和多模态多任务学习的结构巡检智能体导航方法，所述方法包括步骤一：融合结构损伤信息的虚拟环境建模，步骤二：搭建视觉导航深度强化学习框架，步骤三：设计基于卷积神经网络的视觉特征提取模块，步骤四：设计基于长短期记忆网络的导航记忆模块，步骤五：设计后继通用表征模块，对值网络进行解耦，步骤六：建立融合视觉‑深度多模态信息和多辅助任务联合学习的视觉导航模型。所提出的场景融合方法同样适用于智能体与其他工程学科交叉场景构建。

公开(公告)号：CN116824303A

公开(公告)日：2023-09-29

申请号：CN202310820388.9

申请日：2023-07-06

Applicant: 哈尔滨工业大学

Inventor： 李惠 ,  徐阳 ,  胡澍东

IPC: G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/08

Abstract: 本发明提出基于损伤驱动和多模态多任务学习的结构巡检智能体导航方法，所述方法包括步骤一：融合结构损伤信息的虚拟环境建模，步骤二：搭建视觉导航深度强化学习框架，步骤三：设计基于卷积神经网络的视觉特征提取模块，步骤四：设计基于长短期记忆网络的导航记忆模块，步骤五：设计后继通用表征模块，对值网络进行解耦，步骤六：建立融合视觉‑深度多模态信息和多辅助任务联合学习的视觉导航模型。所提出的场景融合方法同样适用于智能体与其他工程学科交叉场景构建。