-
公开(公告)号：CN117422963B
公开(公告)日：2024-08-06
申请号：CN202311168173.X
申请日：2023-09-11
Applicant: 南通大学
Abstract: 本发明公开了一种基于高维度特征映射和特征聚合的跨模态地点识别方法，包括将RGB图像和红外图像输入SCHAL‑Net网络模型提取各自模态所特有的特征，并在ResNet50中添加浅层特征增强模块，在ResNet50第三阶段输出的特征分别经过高维度特征映射模块及图像块处理，将处理后的特征进行整体和局部特征协同约束，直至训练结束。本发明基于整体和局部特征协同约束的跨模态模型SCHAL‑Net，以减少跨模态视觉地点识别任务中的跨模态差异和模态内部差异，来提高地点识别的准确率。
-
公开(公告)号：CN117830783A
公开(公告)日：2024-04-05
申请号：CN202410005814.8
申请日：2024-01-03
Applicant: 南通大学
IPC: G06V10/80 , G06T3/4053 , G06V40/16 , G06T3/4007 , G06V10/82 , G06N3/0464 , G06N3/048
Abstract: 本发明属于计算机视觉领域，具体涉及一种基于局部超分辨率融合注意力机制的视线估计方法。包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果。本发明提取超分辨率后的眼部特征，进行准确地视线估计，从空间和通道两个方向增强低分辨率全局特征，以增加低分辨率环境下提取人脸特征的能力，提升视线估计的效果。
-
公开(公告)号：CN117422963A
公开(公告)日：2024-01-19
申请号：CN202311168173.X
申请日：2023-09-11
Applicant: 南通大学
Abstract: 本发明公开了一种基于高维度特征映射和特征聚合的跨模态地点识别方法，包括将RGB图像和红外图像输入SCHAL‑Net网络模型提取各自模态所特有的特征，并在ResNet50中添加浅层特征增强模块，在ResNet50第三阶段输出的特征分别经过高维度特征映射模块及图像块处理，将处理后的特征进行整体和局部特征协同约束，直至训练结束。本发明基于整体和局部特征协同约束的跨模态模型SCHAL‑Net，以减少跨模态视觉地点识别任务中的跨模态差异和模态内部差异，来提高地点识别的准确率。
-
Patent Agency Ranking
公开(公告)号：CN116580287B
公开(公告)日：2025-01-03
申请号：CN202310393382.8
申请日：2023-04-13
Applicant: 南通大学
Abstract: 本发明涉及计算机视觉技术领域，具体涉及一种基于全局和局部特征联合约束的跨模态地点识别方法。本发明包括以下步骤：步骤1、分别输入1张彩色图像和红外图像到GLFC‑Net网络模型中；步骤2、利用ResNet50网络和局部分支模块，将步骤1中输入的两种模态的图像生成富含全局性和局部性的共享特征；步骤3、从富含全局性的共享特征中提取对应的全局特征；步骤4、从富含局部性的共享特征中提取对应的局部特征；步骤5、对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。本发明增加了对光照不足、视角变化问题的鲁棒性，从而提高了地点识别的准确率。
-
公开(公告)号：CN117744714A
公开(公告)日：2024-03-22
申请号：CN202311835225.4
申请日：2023-12-28
Applicant: 南通大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于回调的深度神经网络错误定位方法，分为模型准备、错误检测、统计分析三个步骤。在模型准备阶段，选择合理的DNN模型以满足问题需求。错误检测阶段持续跟踪关键参数，通过回调机制监控训练损失、验证损失、训练准确率和验证准确率等参数。统计分析阶段运用滑动平均、变化率计算、阈值判定和可视化分析等方法，准确定位模型中的错误，提高深度学习模型的诊断精度和全面性。针对DNN模型中的欠拟合和过拟合问题进行错误定位，实现了对深度学习模型训练问题的实时诊断与定位，提高了定位的全面性和精确性，为深度学习模型的错误诊断提供更加全面的支持。
-
公开(公告)号：CN116580287A
公开(公告)日：2023-08-11
申请号：CN202310393382.8
申请日：2023-04-13
Applicant: 南通大学
Abstract: 本发明涉及计算机视觉技术领域，具体涉及一种基于全局和局部特征联合约束的跨模态地点识别方法。本发明包括以下步骤：步骤1、分别输入1张彩色图像和红外图像到GLFC‑Net网络模型中；步骤2、利用ResNet50网络和局部分支模块，将步骤1中输入的两种模态的图像生成富含全局性和局部性的共享特征；步骤3、从富含全局性的共享特征中提取对应的全局特征；步骤4、从富含局部性的共享特征中提取对应的局部特征；步骤5、对步骤3获得的全局特征与步骤4获得的局部特征进行全局级别和局部级别联合约束；步骤6、若达到指定的训练轮数，则结束；否则继续完成训练，返回步骤1。本发明增加了对光照不足、视角变化问题的鲁棒性，从而提高了地点识别的准确率。
-
公开(公告)号：CN117744714B
公开(公告)日：2025-01-03
申请号：CN202311835225.4
申请日：2023-12-28
Applicant: 南通大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于回调的深度神经网络错误定位方法，分为模型准备、错误检测、统计分析三个步骤。在模型准备阶段，选择合理的DNN模型以满足问题需求。错误检测阶段持续跟踪关键参数，通过回调机制监控训练损失、验证损失、训练准确率和验证准确率等参数。统计分析阶段运用滑动平均、变化率计算、阈值判定和可视化分析等方法，准确定位模型中的错误，提高深度学习模型的诊断精度和全面性。针对DNN模型中的欠拟合和过拟合问题进行错误定位，实现了对深度学习模型训练问题的实时诊断与定位，提高了定位的全面性和精确性，为深度学习模型的错误诊断提供更加全面的支持。
-
公开(公告)号：CN117830783B
公开(公告)日：2024-09-03
申请号：CN202410005814.8
申请日：2024-01-03
Applicant: 南通大学
IPC: G06V10/80 , G06T3/4053 , G06V40/16 , G06T3/4007 , G06V10/82 , G06N3/0464 , G06N3/048
Abstract: 本发明属于计算机视觉领域，具体涉及一种基于局部超分辨率融合注意力机制的视线估计方法。包括如下步骤：步骤S1、使用摄像头获取帧图像；步骤S2、采用人脸检测模型对人脸区域和双眼区域进行检测和定位，将人脸图像进行裁剪，并截取眼部图像；步骤S3、将人脸图像通过人脸注意力强化特征提取模块，强化并提取人脸图像特征；步骤S4、将双眼图像通过基于局部超分辨率的眼部特征提取模块,提取双眼图像特征；步骤S5、通过全连接层融合提取的人脸图像和双眼图像特征得到视线估计结果。本发明提取超分辨率后的眼部特征，进行准确地视线估计，从空间和通道两个方向增强低分辨率全局特征，以增加低分辨率环境下提取人脸特征的能力，提升视线估计的效果。
-
-
-
-
-
-
-
Search Results
8
records
(took 0.042 seconds)
