-
公开(公告)号:CN118397535B
公开(公告)日:2025-04-11
申请号:CN202410390702.9
申请日:2024-04-02
Applicant: 南通大学
IPC: G06V20/52 , G06V40/10 , G06V10/764 , G06V10/774 , G06T5/50 , G06N3/042 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明属于人工智能和计算机视觉技术领域,具体涉及一种基于关系图注意力网络的拥挤行人重识别方法。本发明方法首先使用姿态特征提取模块提取外形特征,利用OpenPose获得人物的关键点集合,并使用多个线性层将其转化为高维向量,然后利用关系图注意力网络来获取到图片中的形状特征,从而将干扰人物的信息排除在形状特征外,然后利用提出的形状引导的特征增强模块,通过两阶段的交叉注意力过程,挖掘基于形状特征的外观特征,从而获取到关键的目标人物的具有判别性的特征,并进行人物身份的重识别。本发明方法解决拥挤行人重识别问题,提高模型识别准确率。
-
公开(公告)号:CN118799949A
公开(公告)日:2024-10-18
申请号:CN202410833622.6
申请日:2024-06-26
Applicant: 南通大学
Abstract: 本发明公开了一种低光环境下高精度的视线估计方法,包括如下步骤:S1.数据集预处理,模拟低光环境S2.低光图像增加,得到增强后的图像;S3.增强图像校准,得到校准图像;S4.图像进行特征提取,输出特征向量;使用改进的残差网络模型ResNet18对校准后的图像进行特征提取;S5.通过全连接层将特征向量映射成三维输出向量;S6.对三维输出向量的前两个元素应用双曲正切变换,以获取精确的预测视线方向;S7.对三维输出向量的第三个元素通过sigmoid函数变换,得到视线预测的不确定性;S8.采用MSELoss损失函数来度量预测结果与真实值之间的误差。本发明方法能有效解决在低光环境下视线估计精度显著下降的问题,从而提高系统的实用性和准确性。
-
公开(公告)号:CN118762393A
公开(公告)日:2024-10-11
申请号:CN202410899543.5
申请日:2024-07-05
Applicant: 南通大学
IPC: G06V40/18 , G06V10/20 , G06V10/44 , G06N3/048 , G06N3/084 , G06N3/0464 , G06V10/40 , G06V10/80 , G06V10/82 , G06T5/90 , G06T5/94 , G06T5/50
Abstract: 本发明公开了一种基于低光图像增强技术的视线估计方法,包括如下步骤:预处理数据集模拟低光环境得到低光图像;将预处理后的低光图像输入低光图像增强网络模块;构建视线估计模型,并对协同模块协同后的图像进行特征提取,输出特征向量;通过全连接层将特征向量映射成三维输出向量,得到预测的视线方向和预测误差;采用损失函数度量预测误差,并通过反向传播更新网络参数,优化视线估计模型性能。本发明提出了利用弱光图像增强技术改善低光环境下视线估计的新研究方向,为视线估计提供了新的思路和解决方案。
-
公开(公告)号:CN117333744B
公开(公告)日:2024-05-28
申请号:CN202311224546.0
申请日:2023-09-21
Applicant: 南通大学
IPC: G06V10/80 , G06V10/74 , G06V10/774 , G06V10/82 , G06N3/0464
Abstract: 本发明提供了一种基于空间特征融合和原型嵌入的无偏场景图生成方法,属于人工智能和计算机视觉技术领域。解决了场景图生成方法预测关系的准确率不足的技术问题。其技术方案为:用基于原型的表示建模主客体实例及谓词,得到若干实例原型和谓词原型,融合主客体实例原型得到主客体联合特征;建模主客体实例之间的相对位置得到空间特征;融合主客体联合特征与空间特征形成关系表示,与谓词原型进行匹配,获得匹配损失;以匹配损失和距离损失共同度量关系预测与真实谓词类之间的误差。本发明的有益效果为:本发明同时兼顾类内紧凑和类间分离的无偏场景图生成框架和每个实例的相对位置信息,来提高场景图生成中关系预测的准确率。
-
公开(公告)号:CN118799949B
公开(公告)日:2025-04-11
申请号:CN202410833622.6
申请日:2024-06-26
Applicant: 南通大学
Abstract: 本发明公开了一种低光环境下高精度的视线估计方法,包括如下步骤:S1.数据集预处理,模拟低光环境S2.低光图像增加,得到增强后的图像;S3.增强图像校准,得到校准图像;S4.图像进行特征提取,输出特征向量;使用改进的残差网络模型ResNet18对校准后的图像进行特征提取;S5.通过全连接层将特征向量映射成三维输出向量;S6.对三维输出向量的前两个元素应用双曲正切变换,以获取精确的预测视线方向;S7.对三维输出向量的第三个元素通过sigmoid函数变换,得到视线预测的不确定性;S8.采用MSELoss损失函数来度量预测结果与真实值之间的误差。本发明方法能有效解决在低光环境下视线估计精度显著下降的问题,从而提高系统的实用性和准确性。
-
公开(公告)号:CN118397535A
公开(公告)日:2024-07-26
申请号:CN202410390702.9
申请日:2024-04-02
Applicant: 南通大学
IPC: G06V20/52 , G06V40/10 , G06V10/764 , G06V10/774 , G06T5/50 , G06N3/042 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明属于人工智能和计算机视觉技术领域,具体涉及一种基于关系图注意力网络的拥挤行人重识别方法。本发明方法首先使用姿态特征提取模块提取外形特征,利用OpenPose获得人物的关键点集合,并使用多个线性层将其转化为高维向量,然后利用关系图注意力网络来获取到图片中的形状特征,从而将干扰人物的信息排除在形状特征外,然后利用提出的形状引导的特征增强模块,通过两阶段的交叉注意力过程,挖掘基于形状特征的外观特征,从而获取到关键的目标人物的具有判别性的特征,并进行人物身份的重识别。本发明方法解决拥挤行人重识别问题,提高模型识别准确率。
-
公开(公告)号:CN118116063A
公开(公告)日:2024-05-31
申请号:CN202311660193.9
申请日:2023-12-06
Applicant: 南通大学
IPC: G06V40/18 , G06V10/82 , G06V10/80 , G06V10/44 , G06V10/52 , G06N3/0464 , G06N3/0455 , G06N3/084
Abstract: 本发明公开了基于多模态与Transformer注意力机制的高精度视线估计方法,包括眼部图像特征提取部分、面部图像特征提取部分、特征融合部分;针对眼部图像,通过膨胀卷积层进行卷积处理,并通过全连接层得到眼部特征。针对面部图像,采用预训练的VGG16网络作为基础,并结合空间注意力机制进一步增强对眼部的关注度,最终通过全连接层得到面部特征。在特征融合部分,采用的Transformer结构独立地增强多模态特征的内部表示。最后,通过融合注意力机制,根据多模态特征在视线估计中的重要性动态调整各特征,从而实现更为精准的视线估计。
-
公开(公告)号:CN119251866A
公开(公告)日:2025-01-03
申请号:CN202411254718.3
申请日:2024-09-09
Applicant: 南通大学
IPC: G06V40/10 , G06V20/52 , G06V10/42 , G06V10/44 , G06V10/774 , G06V10/82 , G06T7/246 , G06T7/292 , G06N3/0455 , G06N3/0464 , G06N3/084
Abstract: 本发明公开了一种基于不等宽卷积块的拥挤行人重识别方法,基于行人图像,采用数据增强方法获得可见光图像,使网络能够有效处理行人在拥挤场景下的复杂问题,并增强其泛化能力。接着构建关键人物注意力模块,获得关键人物注意力图,利用关键人物注意模块与关键人物注意损失共同加强模型对行人的辨别能力。基于关键人物注意力模块、ResNet50网络和不等宽卷积块,以行人图像为输入,行人的识别结果为输出构建并训练行人重识别模型,联合难样本三元组损失函数和标签平滑正则化的交叉熵损失函数来共同训练行人重识别模型。利用本发明的模型,提高了拥挤场景下行人重识别的rank‑1准确率至90.5%。
-
公开(公告)号:CN118762324A
公开(公告)日:2024-10-11
申请号:CN202410899839.7
申请日:2024-07-05
Applicant: 南通大学
IPC: G06V20/52 , G06V10/44 , G06V10/80 , G06V10/82 , G06N3/0442 , G06N3/045 , G06N3/0464 , G06N3/048 , G06N3/084
Abstract: 本发明公开了一种基于模态注意力门控循环单元的多模态人群计数方法,所述方法包括:对人群数据进行预处理;将预处理后的数据输入Res2Net主干网络提取特征输出;将提取的第五层特征输入特定特征融合模块提取隐藏状态;将提取的五层特征和隐藏状态基于多层门控循环单元进行特征融合;将融合的特征输入细节记忆增强模块,得到估计人群密度图。本发明提高准确率的同时,提高了模型在低光照下的鲁棒性。
-
公开(公告)号:CN117612201A
公开(公告)日:2024-02-27
申请号:CN202311371401.3
申请日:2023-10-20
Applicant: 南通大学
IPC: G06V40/10 , G06V10/82 , G06V10/74 , G06N3/0475 , G06N3/0464 , G06N3/094
Abstract: 本发明公开了一种基于特征压缩的单样本行人重识别方法,包括:首先将行人重识别的标准数据集中的已标签图片进行对抗性生成图片操作;然后,将生成的图片以及未标签图片放入单样本行人重识别网络中,获得距离矩阵,选取得分最高的一定数量的图片,并标注伪标签;其次,选取行人图像,进入网络训练,特别地,对图片进行特征压缩,联合损失函数,训练出性能良好的单样本识别网络;最后,完成对目标行人的识别。本发明提出基于特征压缩的单样本行人重识别方法,选择逐步地添加未标注图像到模型中,利用对抗性生成图像避免过拟合,并利用特征压缩减小图片带来的噪声影响,从而提高模型识别的准确率。
-
-
-
-
-
-
-
-
-