-
公开(公告)号：CN116664677A
公开(公告)日：2023-08-29
申请号：CN202310599847.5
申请日：2023-05-24
Applicant: 南通大学
IPC: G06T7/73 , G06T3/40 , G06N3/0464
Abstract: 本发明公开了一种基于超分辨率重建的视线估计方法，包括：使用摄像头获取人脸图像；构建超分辨率重建模块、视线估计模块，首先对超分辨率重建模块进行预训练，之后对网络整体进行训练，输入人脸图像经过超分辨率重建模块，对低分辨率人脸图像恢复细节和清晰度，以提高视线估计精度，经过视线估计模块，其中使用ResNet50提取全局特征，提高特征表达能力，通过空间权重机制，增大视线相关区域的权重，从而进行准确的视线估计；本发明所设计的方法具有更好的学习能力、性能和泛化能力。经过实验验证，本方法能够有效提高低分辨率场景下视线估计的精度。
-
公开(公告)号：CN118116063B
公开(公告)日：2025-04-11
申请号：CN202311660193.9
申请日：2023-12-06
Applicant: 南通大学
IPC: G06V40/18 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了基于多模态与Transformer注意力机制的高精度视线估计方法，包括眼部图像特征提取部分、面部图像特征提取部分、特征融合部分；针对眼部图像，通过膨胀卷积层进行卷积处理，并通过全连接层得到眼部特征。针对面部图像，采用预训练的VGG16网络作为基础，并结合空间注意力机制进一步增强对眼部的关注度，最终通过全连接层得到面部特征。在特征融合部分，采用的Transformer结构独立地增强多模态特征的内部表示。最后，通过融合注意力机制，根据多模态特征在视线估计中的重要性动态调整各特征，从而实现更为精准的视线估计。
-
公开(公告)号：CN116664677B
公开(公告)日：2024-06-14
申请号：CN202310599847.5
申请日：2023-05-24
Applicant: 南通大学
IPC: G06T7/73 , G06T3/4076 , G06N3/0464
Abstract: 本发明公开了一种基于超分辨率重建的视线估计方法，包括：使用摄像头获取人脸图像；构建超分辨率重建模块、视线估计模块，首先对超分辨率重建模块进行预训练，之后对网络整体进行训练，输入人脸图像经过超分辨率重建模块，对低分辨率人脸图像恢复细节和清晰度，以提高视线估计精度，经过视线估计模块，其中使用ResNet50提取全局特征，提高特征表达能力，通过空间权重机制，增大视线相关区域的权重，从而进行准确的视线估计；本发明所设计的方法具有更好的学习能力、性能和泛化能力。经过实验验证，本方法能够有效提高低分辨率场景下视线估计的精度。
-
公开(公告)号：CN117315536B
公开(公告)日：2024-06-04
申请号：CN202311240937.1
申请日：2023-09-25
Applicant: 南通大学
Abstract: 本发明公开了一种在线学习专注度监测方法及系统，首先构建数据采集模块、特征提取模块，然后计算眼睛纵横比、嘴部纵横比、头部姿态欧拉角、并构建视线估计模型，然后构建注意力检测模块，通过输入在线学习者的视频，获得眼睛纵横比、嘴部纵横比、头部姿态欧拉角、眼睛视线方向，然后应用注意力检测模块，设置注意力检测模块阈值，大于等于阈值判断为注意力分散，小于阈值为注意力集中；本发明仅需要带摄像头的电脑，不需要佩戴其他额外的仪器，就可以判断在线学习者注意力是否集中，学生常用的笔记本电脑即可满足本发明的环境要求，本发明具有开销较小、较为便利、较强的鲁棒性、较好的精准度等优点。
-
公开(公告)号：CN118799949A
公开(公告)日：2024-10-18
申请号：CN202410833622.6
申请日：2024-06-26
Applicant: 南通大学
Abstract: 本发明公开了一种低光环境下高精度的视线估计方法，包括如下步骤：S1.数据集预处理，模拟低光环境S2.低光图像增加，得到增强后的图像；S3.增强图像校准，得到校准图像；S4.图像进行特征提取，输出特征向量；使用改进的残差网络模型ResNet18对校准后的图像进行特征提取；S5.通过全连接层将特征向量映射成三维输出向量；S6.对三维输出向量的前两个元素应用双曲正切变换，以获取精确的预测视线方向；S7.对三维输出向量的第三个元素通过sigmoid函数变换，得到视线预测的不确定性；S8.采用MSELoss损失函数来度量预测结果与真实值之间的误差。本发明方法能有效解决在低光环境下视线估计精度显著下降的问题，从而提高系统的实用性和准确性。
-
Patent Agency Ranking
公开(公告)号：CN117830783A
公开(公告)日：2024-04-05
申请号：CN202410005814.8
申请日：2024-01-03
Applicant: 南通大学
IPC: G06V10/80 , G06T3/4053 , G06V40/16 , G06T3/4007 , G06V10/82 , G06N3/0464 , G06N3/048
Abstract: 本发明属于计算机视觉领域，具体涉及一种基于局部超分辨率融合注意力机制的视线估计方法。包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果。本发明提取超分辨率后的眼部特征，进行准确地视线估计，从空间和通道两个方向增强低分辨率全局特征，以增加低分辨率环境下提取人脸特征的能力，提升视线估计的效果。
-
公开(公告)号：CN118799949B
公开(公告)日：2025-04-11
申请号：CN202410833622.6
申请日：2024-06-26
Applicant: 南通大学
Abstract: 本发明公开了一种低光环境下高精度的视线估计方法，包括如下步骤：S1.数据集预处理，模拟低光环境S2.低光图像增加，得到增强后的图像；S3.增强图像校准，得到校准图像；S4.图像进行特征提取，输出特征向量；使用改进的残差网络模型ResNet18对校准后的图像进行特征提取；S5.通过全连接层将特征向量映射成三维输出向量；S6.对三维输出向量的前两个元素应用双曲正切变换，以获取精确的预测视线方向；S7.对三维输出向量的第三个元素通过sigmoid函数变换，得到视线预测的不确定性；S8.采用MSELoss损失函数来度量预测结果与真实值之间的误差。本发明方法能有效解决在低光环境下视线估计精度显著下降的问题，从而提高系统的实用性和准确性。
-
公开(公告)号：CN117744714B
公开(公告)日：2025-01-03
申请号：CN202311835225.4
申请日：2023-12-28
Applicant: 南通大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于回调的深度神经网络错误定位方法，分为模型准备、错误检测、统计分析三个步骤。在模型准备阶段，选择合理的DNN模型以满足问题需求。错误检测阶段持续跟踪关键参数，通过回调机制监控训练损失、验证损失、训练准确率和验证准确率等参数。统计分析阶段运用滑动平均、变化率计算、阈值判定和可视化分析等方法，准确定位模型中的错误，提高深度学习模型的诊断精度和全面性。针对DNN模型中的欠拟合和过拟合问题进行错误定位，实现了对深度学习模型训练问题的实时诊断与定位，提高了定位的全面性和精确性，为深度学习模型的错误诊断提供更加全面的支持。
-
公开(公告)号：CN117830783B
公开(公告)日：2024-09-03
申请号：CN202410005814.8
申请日：2024-01-03
Applicant: 南通大学
IPC: G06V10/80 , G06T3/4053 , G06V40/16 , G06T3/4007 , G06V10/82 , G06N3/0464 , G06N3/048
Abstract: 本发明属于计算机视觉领域，具体涉及一种基于局部超分辨率融合注意力机制的视线估计方法。包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果。本发明提取超分辨率后的眼部特征，进行准确地视线估计，从空间和通道两个方向增强低分辨率全局特征，以增加低分辨率环境下提取人脸特征的能力，提升视线估计的效果。
-
公开(公告)号：CN118116063A
公开(公告)日：2024-05-31
申请号：CN202311660193.9
申请日：2023-12-06
Applicant: 南通大学
IPC: G06V40/18 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了基于多模态与Transformer注意力机制的高精度视线估计方法，包括眼部图像特征提取部分、面部图像特征提取部分、特征融合部分；针对眼部图像，通过膨胀卷积层进行卷积处理，并通过全连接层得到眼部特征。针对面部图像，采用预训练的VGG16网络作为基础，并结合空间注意力机制进一步增强对眼部的关注度，最终通过全连接层得到面部特征。在特征融合部分，采用的Transformer结构独立地增强多模态特征的内部表示。最后，通过融合注意力机制，根据多模态特征在视线估计中的重要性动态调整各特征，从而实现更为精准的视线估计。
-
-
-
-
-
-
-
-
-
Search Results
14
records
(took 0.02 seconds)
