一种基于空间池化的轻量级ViT弱监督人群计数方法

    公开(公告)号:CN116682058B

    公开(公告)日:2024-07-30

    申请号:CN202310622359.1

    申请日:2023-05-30

    Applicant: 南通大学

    Inventor: 杨杨 王进 赵颖钏

    Abstract: 本发明公开了一种基于空间池化的轻量级ViT弱监督人群计数方法,属于深度学习和计算机视觉技术领域,具体包括以下步骤:首先,对输入的人群图像进行预处理和伪彩色处理,增强图像的对比度和细节信息;然后,使用PoolFormer作为主干网络,提取图像的特征表示,PoolFormer利用全局池化替代自注意力机制,有效降低了模型参数和计算复杂度;最后,使用深度回归器对特征进行人群数量的回归,深度回归器增强了模型的非线性表达能力。本发明相比现有的基于ViT的弱监督人群计数方法,在保证高准确率的同时,提升了计算效率和模型大小,并且具有更好的泛化能力。

    一种基于特征压缩的单样本行人重识别方法

    公开(公告)号:CN117612201A

    公开(公告)日:2024-02-27

    申请号:CN202311371401.3

    申请日:2023-10-20

    Applicant: 南通大学

    Abstract: 本发明公开了一种基于特征压缩的单样本行人重识别方法,包括:首先将行人重识别的标准数据集中的已标签图片进行对抗性生成图片操作;然后,将生成的图片以及未标签图片放入单样本行人重识别网络中,获得距离矩阵,选取得分最高的一定数量的图片,并标注伪标签;其次,选取行人图像,进入网络训练,特别地,对图片进行特征压缩,联合损失函数,训练出性能良好的单样本识别网络;最后,完成对目标行人的识别。本发明提出基于特征压缩的单样本行人重识别方法,选择逐步地添加未标注图像到模型中,利用对抗性生成图像避免过拟合,并利用特征压缩减小图片带来的噪声影响,从而提高模型识别的准确率。

    一种基于空间特征融合和原型嵌入的无偏场景图生成方法

    公开(公告)号:CN117333744A

    公开(公告)日:2024-01-02

    申请号:CN202311224546.0

    申请日:2023-09-21

    Applicant: 南通大学

    Abstract: 本发明提供了一种基于空间特征融合和原型嵌入的无偏场景图生成方法,属于人工智能和计算机视觉技术领域。解决了场景图生成方法预测关系的准确率不足的技术问题。其技术方案为:用基于原型的表示建模主客体实例及谓词,得到若干实例原型和谓词原型,融合主客体实例原型得到主客体联合特征;建模主客体实例之间的相对位置得到空间特征;融合主客体联合特征与空间特征形成关系表示,与谓词原型进行匹配,获得匹配损失;以匹配损失和距离损失共同度量关系预测与真实谓词类之间的误差。本发明的有益效果为:本发明同时兼顾类内紧凑和类间分离的无偏场景图生成框架和每个实例的相对位置信息,来提高场景图生成中关系预测的准确率。

    一种多模态分级渐进交互网络的人群计数方法

    公开(公告)号:CN119360302A

    公开(公告)日:2025-01-24

    申请号:CN202411429748.3

    申请日:2024-10-14

    Applicant: 南通大学

    Abstract: 本发明计算机视觉技术领域,具体涉及一种多模态分级渐进交互网络的人群计数方法。本发明提出了一种多模态分级渐进交互网络的人群计数方法,通过设计信息聚合模块,允许不同模态的数据在每个处理阶段进行交互和融合,确保了关键信息能够有效地传递至高层,同时分别对低级和高级特征进行融合,有助于保留重要的局部信息,从而增强的模型适应性和灵活性,提高人群计数精度。本发明采用了均方根误差RMSE和网格平均绝对误差GMAE作为衡量标准。经过实验指标的验证,提出的方法相比其他无人机计数方法取得了精度上的进步,证明了其在实际应用的鲁棒性和应用价值。

    一种基于语义引导多级融合的跨模态人群计数方法

    公开(公告)号:CN119360291A

    公开(公告)日:2025-01-24

    申请号:CN202411262357.7

    申请日:2024-09-10

    Applicant: 南通大学

    Abstract: 本发明公开了一种基于语义引导多级融合的跨模态人群计数方法,旨在解决多模态人群计数方法准确率低,鲁棒性差的问题,方法主要由信息交互模块和语义引导融合模块组成,其中信息交互模块通过对每层提取特征提取相应权重系数进行更新来实现反馈机制,语义引导融合模块主要是将语义拓展模块提取的高级特征与相应级别的模态特征进行融合。本发明通过信息交互和语义引导融合两个模块实现每层提取特征的及时反馈,同时经由高级语义信息提升整体对人群场景的理解能力,从而生成高质量人群密度图,实现高精度的人群计数。

    一种交叉协作融合的轻量化跨模态人群计数方法

    公开(公告)号:CN117854009B

    公开(公告)日:2024-07-19

    申请号:CN202410126064.X

    申请日:2024-01-29

    Applicant: 南通大学

    Abstract: 本发明公开了一种交叉协作融合的轻量化跨模态人群计数方法,本发明主要针对现有人群计数方法存在模型庞大,推理速度很慢两个问题,设计一种改进的人群计数方法。将RGB图像和热成像两种模态的图像经过预处理输入模型,首先为五层权重共享编码器提取特征,然后由跨策略增强编码器重新分配通道注意力,通过交叉注意力重新加权特征反应,将输出的三、四、五层特征扩大其感受野,并对其进行跨尺度跨模态解码,最后将特征总和经过回归器回归密度图生成预测人数,通过不断缩小与实际人数之间的差距,以提高人群计数的精度。

    一种交叉协作融合的轻量化跨模态人群计数方法

    公开(公告)号:CN117854009A

    公开(公告)日:2024-04-09

    申请号:CN202410126064.X

    申请日:2024-01-29

    Applicant: 南通大学

    Abstract: 本发明公开了一种交叉协作融合的轻量化跨模态人群计数方法,本发明主要针对现有人群计数方法存在模型庞大,推理速度很慢两个问题,设计一种改进的人群计数方法。将RGB图像和热成像两种模态的图像经过预处理输入模型,首先为五层权重共享编码器提取特征,然后由跨策略增强编码器重新分配通道注意力,通过交叉注意力重新加权特征反应,将输出的三、四、五层特征扩大其感受野,并对其进行跨尺度跨模态解码,最后将特征总和经过回归器回归密度图生成预测人数,通过不断缩小与实际人数之间的差距,以提高人群计数的精度。

Patent Agency Ranking