公开(公告)号：CN116052262A

公开(公告)日：2023-05-02

申请号：CN202211712817.2

申请日：2022-12-29

Applicant: 南昌大学

Inventor： 李菁 ,  沈文超

IPC: G06V40/18 ,  G06V40/16 ,  G06V10/82 ,  G06V10/778 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/094

Abstract: 本发明公开了一种基于监督对比学习的全脸视线估计方法，包括以下步骤：步骤1、归一化数据；步骤2、浅层特征提取；步骤3、视线相关特征提取：通过对原始的Transformer结构添加偏移机制和注意力机制，并结合Transformer的全局特征和CNN的局部特征使网络聚焦于视线相关特征的提取；步骤4、对批量中的视线相关特征进行监督对比学习，改进数据集分布不平衡所造成的偏好误差；步骤5、对视线相关特征进行回归得到视线角度：偏航角和俯仰角。本发明通过对视线相关特征的提取和改进网络的偏好误差使得预测的视线方向角度更加精确，同时只需要脸部图像输入而无需其它中间处理即可得到视线方向角度，设计简单，使用场景广泛。