-
公开(公告)号:CN119383326A
公开(公告)日:2025-01-28
申请号:CN202411414814.X
申请日:2024-10-11
Applicant: 中南大学
IPC: H04N13/128 , H04N13/156 , G06T7/593 , G06N3/0464
Abstract: 本发明公开一种融合ToF和立体匹配的移动设备深度感知方法及装置,该方法步骤包括:构建多模态融合网络模型,多模态融合网络模型包括依次连接的TM模块、SM模块以及深度融合模块,TM模块根据ToF深度图、法线图提取出ToF低阶特征以及高阶特征,SM模块根据代价体积以及视差图提取出立体匹配低阶特征以及高阶特征,并使用高阶特征指示深度误差,由深度融合模块将检测结果进行融合;使用最终掩码标签以及深度误差指示标签对模型进行训练;获取被测设备的ToF深度图、法线图以及代价体积、视差图,输入至训练后的模型中,得到深度感知检测结果。本发明能够充分融合ToF与立体匹配检测,提高深度感知的精度、效率以及实时性。