-
公开(公告)号:CN119779323A
公开(公告)日:2025-04-08
申请号:CN202411876333.0
申请日:2024-12-19
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于视觉场景理解的机器人未知环境建图方法,包括:获取多目视觉图像,并基于所述多目视觉图像生成深度图;基于所述多目视觉图像并利用视觉定位系统确定无人系统的位姿;采用语义分割模型对所述多目视觉图像进行语义分割;根据语义分割结果和深度图构建三维语义地图,并结合无人系统的位姿拼接连续帧的三维语义地图,并在语义信息的引导下构建出三维场景关联拓扑图;构建融合探索成本代价函数,并对所述融合探索成本代价函数进行求解,得到下一最优视点;根据语义分割结果生成障碍物分割地图,基于所述下一最优视点和障碍物分割地图进行局部路径规划。本发明实现了高效的未知环境自主探索。
-
公开(公告)号:CN119653238A
公开(公告)日:2025-03-18
申请号:CN202411897594.0
申请日:2024-12-23
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种双目相机增稳方法,包括以下步骤:在每个相机上安装惯性测量单元;对所述双目相机进行标定后计算得到右相机坐标系转换到左相机坐标系的外参变换矩阵;对所述双目相机的每个相机及其惯性测量单元进行标定后,获得惯性测量单元坐标系转换到对应相机坐标系的变换矩阵;根据两个不同时刻所述双目相机拍摄的图像帧和所述惯性测量单元采集的测量数据,解算出左右相机的位姿变换矩阵,以及左右相机惯性测量单元的位姿变换矩阵;将全部位姿变换矩阵转换到左相机坐标系并计算出融合变换矩阵,基于位姿变换矩阵判断所述两个不同时刻间是否发生抖动,并利用所述融合变换矩阵进行增稳操作。本发明能够有效保证双目相机输出图像的稳定性。
-
公开(公告)号:CN119642818A
公开(公告)日:2025-03-18
申请号:CN202411722564.6
申请日:2024-11-28
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种面向大规模未知场景的无人机自主探索方法,包括:利用无人机飞行过程中获取的双目图、双目图中的深度数据和IMU数据建立体素图;对大规模未知空间进行稀疏化表示,得到若干分治空间的聚类拓扑节点;基于若干分治空间的聚类拓扑节点和体素图对全局覆盖路径进行规划;根据探索视点和全局覆盖路径进行局部路径规划,并对局部路径进行轨迹优化。本发明能够实现无人机在大规模未知场景下的完备、高效探索。
-
公开(公告)号:CN117636282B
公开(公告)日:2025-03-18
申请号:CN202311620329.3
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于多重约束的栅格占据率估计方法、设备及介质,方法包括:接收车辆周围相机传感器获取的多视角相机图像;将多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,栅格占据率估计模型增加了对每个视角的二维重投影监督,能够有效约束对侧不同物体的特征,还设计了基于物体一致性的空间约束,利用周围体素对处理后的当前体素进行语义标注的影响,解决预测三维结果中的异常值问题。本发明能有效提高算法精度及运算速度,提高了栅格占据率的估计效果。
-
公开(公告)号:CN118052842B
公开(公告)日:2025-03-14
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN118334389B
公开(公告)日:2024-12-24
申请号:CN202410497467.5
申请日:2024-04-24
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/75 , G06V10/80 , G06V10/82 , G06N3/0464 , G06N3/08
Abstract: 本发明涉及一种基于频域自适应滤波优化的鲁棒立体匹配方法和装置,方法包括:获取双目图像;将获取的双目图像输入至立体匹配模型中,完成像素点的匹配得到视差图;立体匹配模型包括:特征提取网络,用于提取双目图像的特征,得到左图特征和右图特征;自适应滤波模块,用于将左图特征和右图特征转换到频域,并对左图特征和右图特征进行自适应滤波,并将滤波后的左图特征和右图特征重新变换到空间域完成代价体构建;频率补偿模块,用于对左图频域特征进行频率补偿,并与代价体聚合后的聚合特征进行融合,得到融合特征;视差预测模块,用于根据融合特征进行视差预测,完成像素点的匹配得到视差图。本发明能够提升立体匹配模型对校正误差的鲁棒性。
-
公开(公告)号:CN117495919B
公开(公告)日:2024-11-29
申请号:CN202311561532.8
申请日:2023-11-22
Applicant: 中国科学院上海微系统与信息技术研究所
Abstract: 本发明涉及一种基于遮挡物体检测及运动连续性的光流估计方法,包括:接收连续的两帧图像;将连续的两帧图像输入至光流估计模型中,得到光流估计值;其中,光流估计模型包括:特征提取部分提取连续的两帧图像的图像特征和上下文特征;匹配部分基于连续的两帧图像的图像特征计算相关像素点匹配,得到4D代价体;遮挡点估计部分对4D代价体进行特征相似度判断函数处理并通过卷积网络得到遮挡点;关联优化部分根据遮挡点估计出潜在匹配位置,并与4D代价体给出的位置计算对比整合,得到优化后的4D代价体;迭代优化部分根据优化后的4D代价体与上下文特征进行迭代优化,得到光流估计值。本发明能够提升光流估计精度。
-
公开(公告)号:CN118052842A
公开(公告)日:2024-05-17
申请号:CN202410070469.6
申请日:2024-01-18
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06T7/20 , G06T7/55 , G06T7/70 , G06N3/0464 , G06N3/088
Abstract: 本发明涉及一种基于无纹理加权模块的无监督视觉里程计方法和系统,其中,方法包括:接收单目视频序列;将单目视频序列输入至预测模型,得到预测结果;其中,预测模型包括:深度估计子网络,用于估计输入的目标图像对应的深度图;位姿估计子网络,用于估计输入的目标图像和源图像之间的相对位姿;重投影模块,用于根据深度图和相对位姿对源图像进行重投影操作,得到重建目标图像;无纹理加权模块,用于对目标图像和重建目标图像中无纹理区域的每个像素点赋予不同权重,得到用于构造重投影损失的加权目标图像和加权重建目标图像。本发明能够减少场景中无纹理区域对无监督视觉里程计中重投影损失的影响。
-
公开(公告)号:CN117710678A
公开(公告)日:2024-03-15
申请号:CN202311814465.6
申请日:2023-12-27
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V10/26 , G06V20/70 , G06V10/25 , G06V10/82 , G06V10/52 , G06T5/50 , G06N3/0464 , G06N3/045 , G06N3/0442 , G06N3/09
Abstract: 本发明涉及一种基于语义‑实例‑全景关联约束的全景分割方法,包括:接收待全景分割的图片;将待全景分割的图片输入至全景分割模型,得到全景分割结果;其中,全景分割模型包括:特征提取部分,用于对输入的图片进行多尺度的特征提取,得到语义多尺度特征和实例多尺度特征;门控编码模块,用于通过双向信息交互增强语义多尺度特征和实例多尺度特征,得到强化语义多尺度特征和强化实例多尺度特征;语义头模块,用于对强化语义多尺度特征进行预测,得到语义预测结果;实例头模块,用于对强化实例多尺度特征进行预测,得到实例预测结果;融合模块,用于将语义预测结果和实例预测结果进行融合得到全景分割结果。本发明提高了分割精度与效率。
-
公开(公告)号:CN117636283A
公开(公告)日:2024-03-01
申请号:CN202311620331.0
申请日:2023-11-30
Applicant: 中国科学院上海微系统与信息技术研究所
IPC: G06V20/56 , G06V10/80 , G06V10/764 , G06V10/40 , G06V10/774 , G06V10/776 , G06V10/82
Abstract: 本发明涉及一种基于环绕视角表征的含时序栅格占据率估计方法,包括:接收车辆周围相机传感器获取的多视角相机图像;将所述多视角相机图像输入至栅格占据率估计模型中,得到栅格占据率预测结果;其中,所述栅格占据率估计模型包括:特征提取模块,用于从所述多视角相机图像中提取出图像特征;环视角注意力模块,用于将提取出的图像特征按照方向映射到环视视角,得到环视视角特征;时序特征多重注意力模块,用于通过多重注意力机制对所述环视视角特征进行处理,得到包含历史信息的时序特征;预测模块,用于根据包含历史信息的时序特征进行预测,得到栅格占据率预测结果。本发明克服了正视图和侧视图在同一坐标包含多个特征的问题。
-
-
-
-
-
-
-
-
-