公开(公告)号：CN114170316B

公开(公告)日：2025-05-06

申请号：CN202111528516.X

申请日：2021-12-13

Applicant: 杭州电子科技大学

Inventor： 徐风帆 ,  戴国骏 ,  周文晖 ,  任璐伟 ,  吴以凡 ,  张桦

IPC: G06T7/73 ,  G06T9/00 ,  G06N3/0455 ,  G06N3/0464

Abstract: 本发明公开了一种基于环绕视点的位姿估计优化方法。本发明将稀疏视点图片与对应粗略相机位姿作为输入，利用编解码神经网络提取出图片序列的不同尺度的特征，将不同尺度的特征进行转置卷积并两两相乘，按照粗略相机位姿映射并融合为3D特征体素，通过3D卷积网络提取特征点空间坐标、密度与颜色信息作为输入进入MLP网络，回归得到位姿偏移误差，更新对照视点位姿并回归主视点坐标系。本发明对输入的多视点图片进行预处理，利用神经网络，基于多视图，将特征匹配与位姿优化两个任务集成起来，得到了精确的相机位姿。本发明提出的于环绕视图的位姿估计优化方法，提高了位姿估计的精度，大大提升了三维重建的质量。

公开(公告)号：CN112907641B

公开(公告)日：2024-04-09

申请号：CN202110151211.5

申请日：2021-02-03

Applicant: 杭州电子科技大学

Inventor： 周文晖 ,  黄鸿飞 ,  张桦 ,  戴国骏 ,  徐风帆 ,  沈蓉豪

IPC: G06T7/33 ,  G06N3/0464 ,  G06N3/08 ,  G06T7/10

Abstract: 本发明公开了一种基于细节信息保持的多视点视图深度估计方法。本方法首先利用U型神经网络提取出图片序列在不同尺度的特征，在同一尺度的特征中，分为两个分支：一个分支进行分割操作，得到高质量细节保持的目标分割图；一个分支进行为后续的深度估计进行特征提取。将不同尺度的特征与同尺度下的分割图Fs相乘，按照单应矩阵映射融合为3D特征体素，最后通过回归得到深度图。将该深度图与对应大小的Fs逐像素相乘，通过由粗到细不同尺度的优化，输出最终的深度图，其中只有目标的深度信息有效。本发明提出的基于细节信息保持的多视点视图深度估计方法，避免了重建中背景对目标的影响，提高了深度估计的精度。

公开(公告)号：CN114170316A

公开(公告)日：2022-03-11

申请号：CN202111528516.X

申请日：2021-12-13

Applicant: 杭州电子科技大学

Inventor： 徐风帆 ,  戴国骏 ,  周文晖 ,  任璐伟 ,  吴以凡 ,  张桦

IPC: G06T7/73 ,  G06T9/00 ,  G06N3/04

Abstract: 本发明公开了一种基于环绕视点的位姿估计优化方法。本发明将稀疏视点图片与对应粗略相机位姿作为输入，利用编解码神经网络提取出图片序列的不同尺度的特征，将不同尺度的特征进行转置卷积并两两相乘，按照粗略相机位姿映射并融合为3D特征体素，通过3D卷积网络提取特征点空间坐标、密度与颜色信息作为输入进入MLP网络，回归得到位姿偏移误差，更新对照视点位姿并回归主视点坐标系。本发明对输入的多视点图片进行预处理，利用神经网络，基于多视图，将特征匹配与位姿优化两个任务集成起来，得到了精确的相机位姿。本发明提出的于环绕视图的位姿估计优化方法，提高了位姿估计的精度，大大提升了三维重建的质量。

公开(公告)号：CN112907641A

公开(公告)日：2021-06-04

申请号：CN202110151211.5

申请日：2021-02-03

Applicant: 杭州电子科技大学

Inventor： 周文晖 ,  黄鸿飞 ,  张桦 ,  戴国骏 ,  徐风帆 ,  沈蓉豪

IPC: G06T7/33 ,  G06N3/04 ,  G06N3/08 ,  G06T7/10

Abstract: 本发明公开了一种基于细节信息保持的多视点视图深度估计方法。本方法首先利用U型神经网络提取出图片序列在不同尺度的特征，在同一尺度的特征中，分为两个分支：一个分支进行分割操作，得到高质量细节保持的目标分割图；一个分支进行为后续的深度估计进行特征提取。将不同尺度的特征与同尺度下的分割图Fs相乘，按照单应矩阵映射融合为3D特征体素，最后通过回归得到深度图。将该深度图与对应大小的Fs逐像素相乘，通过由粗到细不同尺度的优化，输出最终的深度图，其中只有目标的深度信息有效。本发明提出的基于细节信息保持的多视点视图深度估计方法，避免了重建中背景对目标的影响，提高了深度估计的精度。