一种基于视觉场景理解的机器人未知环境建图方法

    公开(公告)号:CN119779323A

    公开(公告)日:2025-04-08

    申请号:CN202411876333.0

    申请日:2024-12-19

    Abstract: 本发明涉及一种基于视觉场景理解的机器人未知环境建图方法,包括:获取多目视觉图像,并基于所述多目视觉图像生成深度图;基于所述多目视觉图像并利用视觉定位系统确定无人系统的位姿;采用语义分割模型对所述多目视觉图像进行语义分割;根据语义分割结果和深度图构建三维语义地图,并结合无人系统的位姿拼接连续帧的三维语义地图,并在语义信息的引导下构建出三维场景关联拓扑图;构建融合探索成本代价函数,并对所述融合探索成本代价函数进行求解,得到下一最优视点;根据语义分割结果生成障碍物分割地图,基于所述下一最优视点和障碍物分割地图进行局部路径规划。本发明实现了高效的未知环境自主探索。

    一种双目相机增稳方法
    52.
    发明公开

    公开(公告)号:CN119653238A

    公开(公告)日:2025-03-18

    申请号:CN202411897594.0

    申请日:2024-12-23

    Abstract: 本发明涉及一种双目相机增稳方法,包括以下步骤:在每个相机上安装惯性测量单元;对所述双目相机进行标定后计算得到右相机坐标系转换到左相机坐标系的外参变换矩阵;对所述双目相机的每个相机及其惯性测量单元进行标定后,获得惯性测量单元坐标系转换到对应相机坐标系的变换矩阵;根据两个不同时刻所述双目相机拍摄的图像帧和所述惯性测量单元采集的测量数据,解算出左右相机的位姿变换矩阵,以及左右相机惯性测量单元的位姿变换矩阵;将全部位姿变换矩阵转换到左相机坐标系并计算出融合变换矩阵,基于位姿变换矩阵判断所述两个不同时刻间是否发生抖动,并利用所述融合变换矩阵进行增稳操作。本发明能够有效保证双目相机输出图像的稳定性。

    一种基于无纹理加权模块的无监督视觉里程计方法和系统

    公开(公告)号:CN118052842B

    公开(公告)日:2025-03-14

    申请号:CN202410070469.6

    申请日:2024-01-18

    Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。

    一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置

    公开(公告)号:CN118334389B

    公开(公告)日:2024-12-24

    申请号:CN202410497467.5

    申请日:2024-04-24

    Abstract: 本发明涉及一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置,方法包括:获取双目图像;将获取的双目图像输入至立体匹配模型中,完成像素点的匹配得到视差图;立体匹配模型包括:特征提取网络,用于提取双目图像的特征,得到左图特征和右图特征;自适应滤波模块,用于将左图特征和右图特征转换到频域,并对左图特征和右图特征进行自适应滤波,并将滤波后的左图特征和右图特征重新变换到空间域完成代价体构建;频率补偿模块,用于对左图频域特征进行频率补偿,并与代价体聚合后的聚合特征进行融合,得到融合特征;视差预测模块,用于根据融合特征进行视差预测,完成像素点的匹配得到视差图。本发明能够提升立体匹配模型对校正误差的鲁棒性。

    一种基于遮挡物体检测及运动连续性的光流估计方法

    公开(公告)号:CN117495919B

    公开(公告)日:2024-11-29

    申请号:CN202311561532.8

    申请日:2023-11-22

    Abstract: 本发明涉及一种基于遮挡物体检测及运动连续性的光流估计方法,包括:接收连续的两帧图像;将连续的两帧图像输入至光流估计模型中,得到光流估计值;其中,光流估计模型包括:特征提取部分提取连续的两帧图像的图像特征和上下文特征;匹配部分基于连续的两帧图像的图像特征计算相关像素点匹配,得到4D代价体;遮挡点估计部分对4D代价体进行特征相似度判断函数处理并通过卷积网络得到遮挡点;关联优化部分根据遮挡点估计出潜在匹配位置,并与4D代价体给出的位置计算对比整合,得到优化后的4D代价体;迭代优化部分根据优化后的4D代价体与上下文特征进行迭代优化,得到光流估计值。本发明能够提升光流估计精度。

    一种基于无纹理加权模块的无监督视觉里程计方法和系统

    公开(公告)号:CN118052842A

    公开(公告)日:2024-05-17

    申请号:CN202410070469.6

    申请日:2024-01-18

    Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。

    一种基于环绕视角表征的含时序栅格占据率估计方法

    公开(公告)号:CN117636283A

    公开(公告)日:2024-03-01

    申请号:CN202311620331.0

    申请日:2023-11-30

    Abstract: 本发明涉及一种基于环绕视角表征的含时序栅格占据率估计方法,包括:接收车辆周围相机传感器获取的多视角相机图像;将所述多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,所述栅格占据率估计模型包括:特征提取模块,用于从所述多视角相机图像中提取出图像特征;环视角注意力模块,用于将提取出的图像特征按照方向映射到环视视角,得到环视视角特征;时序特征多重注意力模块,用于通过多重注意力机制对所述环视视角特征进行处理,得到包含历史信息的时序特征;预测模块,用于根据包含历史信息的时序特征进行预测,得到栅格占据率预测结果。本发明克服了正视图和侧视图在同一坐标包含多个特征的问题。

Patent Agency Ranking