-
公开(公告)号:CN114078163B
公开(公告)日:2025-04-25
申请号:CN202010793278.4
申请日:2020-08-10
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种激光雷达与可见光相机的精确标定方法,其采用远近两个靶标作为标定工具,其中近处的靶标为棋盘格,置于相机的视野中,用于估计相机的位姿;其中远处的靶标为结构化场景中的三面体,置于激光雷达的视野中,用于估计激光雷达的位姿。标定过程中,保持三面体与棋盘格的空间相对位置不变,通过调整激光雷达与相机(LiDAR‑Camera)装置的位姿,采集多组观测数据,通过求解手眼标定方程求取激光雷达与相机的相对位姿。本发明通过引入远近双靶标分别估计激光雷达与相机的位姿,规避了单靶标标定中跨模态数据特征提取匹配误差较大的问题,有着更高的标定精度。
-
公开(公告)号:CN112734937B
公开(公告)日:2024-06-28
申请号:CN202011626596.8
申请日:2020-12-31
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种基于全景技术的旅游系统,所述系统包括全景图像采集模块、在线全景预览模块、景点打卡模块和全景影像融合模块,其中,全景图像采集模块,用于实时获取景点全景图像数据;在线全景预览模块,用于获取景点全景图像数据,提供用户在线预览每个景点的全景场景及提供景点互动体验;景点打卡模块,用于记录用户到访景点的打卡,并提供打卡景点的全景图片;全景影像融合模块,用于将用户上传的旅游照片与景点的全景图片相融合,形成旅游全景相册。本发明提供旅游景点在线实时全景预览、全景图像融合和全景视频制作功能,以虚拟旅游结合现实旅游的方式,解决传统方法中用户旅游体验感差的问题。
-
公开(公告)号:CN118096988A
公开(公告)日:2024-05-28
申请号:CN202410495556.6
申请日:2024-04-24
Applicant: 中国科学院宁波材料技术与工程研究所 , 中国北方车辆研究所
Abstract: 本发明公开了一种基于三维高斯表征的室内复杂场景高保真实时渲染方法,涉及图像处理技术领域,其通过全景激光扫描仪获取室内场景的彩色激光雷达点云、组合式全景影像和高精度影像位姿,提高影像位姿的精度,利用三维高斯表征技术对场景进行初始化,对点云进行隐点移除处理,获取对应相机位姿视角的稀疏深度图,并进行深度补全处理,而后通过可微光栅化渲染算法对三维高斯初始化的场景进行渲染处理,获取相应相机位姿视角的渲染影像和渲染深度,在损失约束下通过反向传播优化三维高斯的参数进行模型迭代,并利用迭代后的模型对目标场景进行实时渲染。本发明解决了室内场景因大量弱纹理区域而导致的空中漂浮物的问题,提高了整体渲染质量。
-
公开(公告)号:CN118096988B
公开(公告)日:2024-08-13
申请号:CN202410495556.6
申请日:2024-04-24
Applicant: 中国科学院宁波材料技术与工程研究所 , 中国北方车辆研究所
Abstract: 本发明公开了一种基于三维高斯表征的室内复杂场景高保真实时渲染方法,涉及图像处理技术领域,其通过全景激光扫描仪获取室内场景的彩色激光雷达点云、组合式全景影像和高精度影像位姿,提高影像位姿的精度,利用三维高斯表征技术对场景进行初始化,对点云进行隐点移除处理,获取对应相机位姿视角的稀疏深度图,并进行深度补全处理,而后通过可微光栅化渲染算法对三维高斯初始化的场景进行渲染处理,获取相应相机位姿视角的渲染影像和渲染深度,在损失约束下通过反向传播优化三维高斯的参数进行模型迭代,并利用迭代后的模型对目标场景进行实时渲染。本发明解决了室内场景因大量弱纹理区域而导致的空中漂浮物的问题,提高了整体渲染质量。
-
公开(公告)号:CN116205961A
公开(公告)日:2023-06-02
申请号:CN202310217423.8
申请日:2023-03-02
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种多镜头组合影像和激光雷达点云的自动配准方法及其系统。该自动配准方法包括:构建多目组合式相机与激光雷达传感器的标定场景;标定多目组合式相机与激光雷达传感器的外参;解算多镜头组合影像的初始位姿;根据序列影像生成与激光雷达点云尺度一致的世界坐标系下的稀疏图像特征点云;通过预设的点云匹配算法配准所述稀疏图像特征点云与所述激光雷达点云,得到所述稀疏图像特征点云到所述激光雷达点云的精确配准结果。本发明有效解决了3D‑3D点云对齐中尺度统一及初值计算的问题,有着更高的配准精度,且能够实现自动化的配准。
-
公开(公告)号:CN115082570A
公开(公告)日:2022-09-20
申请号:CN202210773703.2
申请日:2022-07-01
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种激光雷达与全景相机的标定方法,包括在标定场景内布置与全景相机的相机数量相同的棋盘格,采用三维激光扫描仪采集整个标定场景的三维点云数据,之后将待标定的激光雷达和由多镜头组合式全景相机移入标定场景,同步采集全景相机和激光雷达的多幅可见光影像数据及点云数据;基于全景相机采集的影像数据和三维激光扫描仪采集的三维点云数据,计算出相机和三维激光扫描仪之间的第一相对位姿;基于激光雷达的点云数据和三维激光扫描仪采集的数据,计算得到激光雷达和三维激光扫描仪之间的第二相对位姿;根据第一相对位姿和第二相对位姿,计算得到激光雷达和全景相机之间的第三相对位姿。本发明提出了一种标定场景布置要求低且可避免多次变换的累计误差的激光雷达与全景相机的标定方案。
-
公开(公告)号:CN114779272A
公开(公告)日:2022-07-22
申请号:CN202210548135.6
申请日:2022-05-18
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种垂直约束增强的激光雷达里程计方法及装置。所述方法包括采用安装在数据采集系统上的相互垂直的第一激光雷达和第二激光雷达分别采集获取场景内的第一雷达点云数据和第二雷达点云数据;标定出第一激光雷达和第二激光雷达之间的外参;数据采集系统对第一雷达点云数据和第二雷达点云数据做融合;将融合后的点云数据传入激光雷达同步定位与建图框架,用于估算数据采集系统的位姿并建立地图。本发明激光雷达里程计方案的垂直约束得到增强,且垂直方向上的测距漂移得到优化。
-
公开(公告)号:CN112732959A
公开(公告)日:2021-04-30
申请号:CN202011644196.X
申请日:2020-12-31
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种旅游相册制作系统及方法。所述系统包括相册模板模块,用于提供景点的三维模型,作为旅游相册编辑用的模板;素材编辑模块,用于选择需要编辑的素材进行处理,形成图像素材;三维模型交互模块,用于将素材编辑模块处理形成的图像素材与相册模板模块提供的三维模型进行交互,生成旅游相册。本发明基于三维模型制作出动态的旅游相册,用于提供旅游路径纪念、相片注释说明及相册互动分享,满足基本的社交需求功能,为用户的旅游规划提供良好的参照和决策依据,充分满足用户对旅游纪念的体验感的需要。
-
公开(公告)号:CN115082570B
公开(公告)日:2024-03-19
申请号:CN202210773703.2
申请日:2022-07-01
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种激光雷达与全景相机的标定方法,包括在标定场景内布置与全景相机的相机数量相同的棋盘格,采用三维激光扫描仪采集整个标定场景的三维点云数据,之后将待标定的激光雷达和由多镜头组合式全景相机移入标定场景,同步采集全景相机和激光雷达的多幅可见光影像数据及点云数据;基于全景相机采集的影像数据和三维激光扫描仪采集的三维点云数据,计算出相机和三维激光扫描仪之间的第一相对位姿;基于激光雷达的点云数据和三维激光扫描仪采集的数据,计算得到激光雷达和三维激光扫描仪之间的第二相对位姿;根据第一相对位姿和第二相对位姿,计算得到激光雷达和全景相机之间的第三相对位姿。本发明提出了一种标定场景布置要求低且可避免多次变换的累计误差的激光雷达与全景相机的标定方案。
-
公开(公告)号:CN119027568A
公开(公告)日:2024-11-26
申请号:CN202411206074.0
申请日:2024-08-30
Applicant: 中国科学院宁波材料技术与工程研究所
Abstract: 本发明公开了一种基于数据增广辅助的三维高斯溅射方法,涉及图像处理技术领域,主要包括步骤:基于相同影像位姿下的可见光影像和点云投影图之间的颜色损失,进行图像恢复模型参数优化的监督,并通过梯度反传更新模型参数;通过对过拟合区域进行位姿重采样,获取重采样点云投影图;通过更新后的图像恢复模型将重采样点云投影图恢复为可见光影像;基于恢复后的可见光影像和原可见光影像对三维高斯溅射模型进行训练。本发明通过在可见光影像稀疏或视觉效果不佳的区域采样并生成额外的数据,可以显著提高不同视角下视图之间的一致性,减少渲染过程中的尖锐伪影,并在没有直接训练过的视角也能保持良好的渲染效果。
-
-
-
-
-
-
-
-
-