-
公开(公告)号:CN114511629B
公开(公告)日:2025-03-21
申请号:CN202111649445.9
申请日:2021-12-30
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种自适应多视图和时序特征融合的单人三维姿态估计方法,基于多相机的视频序列图片为输入,设计了一个鲁棒的特征提取器来提取2D姿态特征;基于2D姿态特征为输入,在相机维度上设计了一种自适应的视图自注意力变换网络,通过相对相机位置编码和自注意力机制来融合任意数量的未标定相机下的二维姿态,获取多目融合的姿态特征;基于多目融合的姿态特征为输入,在时间维度上设计一种时序自注意力变换网络,通过自注意力机制自适应地融合多帧特征,获得最终的3D姿态。本发明设计合理,无需重新训练可以直接应用到有任意数量的未标定相机的场景下且网络计算量很小。
-
公开(公告)号:CN114511629A
公开(公告)日:2022-05-17
申请号:CN202111649445.9
申请日:2021-12-30
Applicant: 南京信息工程大学
Abstract: 本发明公开了一种自适应多视图和时序特征融合的单人三维姿态估计方法,基于多相机的视频序列图片为输入,设计了一个鲁棒的特征提取器来提取2D姿态特征;基于2D姿态特征为输入,在相机维度上设计了一种自适应的视图自注意力变换网络,通过相对相机位置编码和自注意力机制来融合任意数量的未标定相机下的二维姿态,获取多目融合的姿态特征;基于多目融合的姿态特征为输入,在时间维度上设计一种时序自注意力变换网络,通过自注意力机制自适应地融合多帧特征,获得最终的3D姿态。本发明设计合理,无需重新训练可以直接应用到有任意数量的未标定相机的场景下且网络计算量很小。
-