一种基于姿态关键帧的视频行人重识别方法及系统

    公开(公告)号:CN110070066B

    公开(公告)日:2022-12-09

    申请号:CN201910359494.5

    申请日:2019-04-30

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于姿态关键帧的视频行人重识别方法及系统,该方法包括以下步骤:步骤A:使用标注了行人姿态关键点位置信息的数据训练行人姿态估计深度神经网络;步骤B:根据行人姿态估计深度神经网络预测得到的姿态信息选取姿态关键帧,训练行人重识别深度神经网络;步骤C:将查询集和检索集的视频输入行人重识别深度神经网络以提取特征,计算各视频间的特征距离,并对各特征距离进行排序,生成各查询视频的近邻列表;步骤D:利用重排序方法对近邻列表进行重新排序,选取近邻列表的前若干名为行人重识别结果。该方法及系统可以提高视频行人重识别的准确度和速度。

    用于街景理解的融合点与区域特征的语义分割方法及系统

    公开(公告)号:CN110059768B

    公开(公告)日:2022-11-15

    申请号:CN201910359134.5

    申请日:2019-04-30

    Applicant: 福州大学

    Abstract: 本发明涉及一种用于街景理解的融合点与区域特征的语义分割方法及系统,该方法包括:对训练集输入图像进行预处理,使图像标准化并获取相同尺寸的预处理图像;用卷积网络提取通用特征,再基于通用特征获取多重上下文对比点特征,以这两部分级联作为编码网络提取编码特征;从卷积网络中选取中间层特征,结合编码特征计算区域特征,融合点域特征扩大解码特征分辨率,把这部分多次迭代作为解码网络,重建图像分辨率,计算解码特征;计算边缘增强的语义分割损失,以最小化边缘增强的语义分割损失为目标来对深度神经网络进行训练;利用深度神经网络模型对待分割图像进行语义分割,输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

    基于YOLOV5的自然场景文本检测与识别方法

    公开(公告)号:CN115205839A

    公开(公告)日:2022-10-18

    申请号:CN202210785742.4

    申请日:2022-07-05

    Applicant: 福州大学

    Inventor: 柯逍 卢恺翔

    Abstract: 本发明提出一种基于YOLOV5的自然场景文本检测与识别方法,包括:步骤S1:获取自然场景文本图像数据集,将对应标签转换为YOLOV5所需要的格式;步骤S2:用YOLOV5的轻量级特征提取器提取图像文本的位置信息和深层的语义信息;利用跨层连接和空间金字塔池化层将浅层特征和深层特征结合;在跨层连接中加入形变卷积,使得网络能够更好地处理特征图尺度的变化;步骤S3:利用Kmeans算法聚合过的锚框拟合真实文本框的长宽比,并预测锚框与真实框的偏差;利用长卷积处理特征,让锚框的长宽比更贴合真实文本框;步骤S4:利用双向LSTM和注意力机制对齐文本特征并预测文本序列;其能够实现利用深度学习完成对自然场景文本进行检测和识别,且轻量级足以实现在移动端部署。

    垃圾投放点的信息处理方法、装置、设备、介质及产品

    公开(公告)号:CN115147920A

    公开(公告)日:2022-10-04

    申请号:CN202210542944.6

    申请日:2022-05-18

    Applicant: 福州大学

    Abstract: 本申请提供一种垃圾投放点的信息处理方法、装置、设备、介质及产品。该方法包括:对目标区域中的垃圾投放点进行投放识别处理,获得在所述垃圾投放点执行垃圾投放动作的目标用户;根据所述目标用户执行的垃圾投放动作进行动作分析,确定所述垃圾投放动作的合规分析结果;所述合规分析结果包括合规投放或者不合规投放;利用所述目标用户在所述垃圾投放点的合规分析结果,确定所述目标用户的不合规投放对应的投放次数;若确定所述不合规投放次数高于预设的次数阈值,则输出目标用户投放不合规的提示信息。本申请的方法,增加了垃圾点的智能管理效率。

    基于稀疏系数通道剪枝的轻量化个人防护装备检测方法

    公开(公告)号:CN115100603A

    公开(公告)日:2022-09-23

    申请号:CN202210801243.X

    申请日:2022-07-08

    Applicant: 福州大学

    Inventor: 柯逍 陈文垚

    Abstract: 本发明涉及一种基于稀疏系数通道剪枝的轻量化个人防护装备检测方法,包括以下步骤:步骤S1:构建个人防护装备检测数据集;步骤S2:根据个人防护装备检测数据集训练网络模型得到个人防护装备检测模型;步骤S3:将个人防护装备检测模型进行通道级别的稀疏化训练,对卷积神经网络中BN层的γ参数进行稀疏正则化,得到稀疏化后的检测模型;步骤S4:对稀疏化后的检测模型进行剪枝,得到一个轻量化的检测模型;步骤S5:对轻量化的检测模型进行微调训练,得到最终的轻量化个人防护装备检测模型;步骤S6:使用轻量化个人防护装备检测模型进行目标检测,得到检测结果图。本发明能够有效减少检测模型的模型大小,参数量和计算量,并且对工人是否穿戴个人防护装备进行精准检测。

    一种基于结构建模局部提议网络的细粒度分类方法

    公开(公告)号:CN115100476A

    公开(公告)日:2022-09-23

    申请号:CN202210787855.8

    申请日:2022-07-04

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于结构建模局部提议网络的细粒度分类方法。首先获取细粒度分类数据集,输入主干网络,通过多粒度融合学习策略整合多粒度层级信息以增强特征表示,并计算跨层自蒸馏正则化损失。然后利用空间注意力模块增强判别性区域定位能力并以弱监督的形式生成区域提议,利用生成的局部区域提议裁剪原始图像,调整裁剪后的图像到指定大小得到局部区域图像,并将局部区域图像再次输入网络。然后基于空间注意力模块生成区域掩码,利用掩码进行极坐标建模,并计算结构建模损失,最后按照指定训练参数进行迭代训练,根据验证准确率不断保存最优模型,利用最终模型得到细粒度分类结果。

    基于模态特异自适应缩放与注意力网络的跨模态检索方法

    公开(公告)号:CN115080699A

    公开(公告)日:2022-09-20

    申请号:CN202210787446.8

    申请日:2022-07-04

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于模态特异自适应缩放与注意力网络的跨模态检索方法。首先对图像模态采用带残差空间缩减的Transformer编码器,对文本模态采用单词级特征注意力模块,分别进行模态不变特征的提取。然后使用模态嵌入级特征注意力模块进行模态干扰特征的过滤。接着采用融合先验知识的自适应缩放网络将特征映射到一个多模态公共子空间进行模态公共特征学习。最后利用表现最好的网络权重计算新的待查询、待检索数据的多模态公共子空间特征,进行类别级重排序,返回最终的跨模态数据检索。本发明能够有效的对多模态数据进行建模,高效准确地完成多模态场景下的跨模态检索任务。

    基于计算机视觉的课堂学情分析方法

    公开(公告)号:CN112200138B

    公开(公告)日:2022-07-08

    申请号:CN202011184624.5

    申请日:2020-10-30

    Applicant: 福州大学

    Inventor: 柯逍 刘浩

    Abstract: 本发明涉及一种基于计算机视觉的课堂学情分析方法,包括以下步骤:步骤S1:获取人体图像数据,并进行预处理,得到人体图像数据集;步骤S2:根据得到的人体图像数据集,训练YOLOv4目标检测算法模型,并基于训练后的YOLOv4目标检测算法模型对课堂实时视频进行逐帧人体检测,得到每个目标的人体位置信息;步骤S3:根据得到每个目标的人体位置信息,采用CrowdPose拥挤场景姿态估计算法进行姿态估计,获得每个目标的骨骼关键点分布信息;步骤S4:根据得到的每个目标的骨骼关键点分布信息,分别进行行为检测和情绪分析;步骤S5:根据行为检测、人脸识别,情绪分析结果,进一步实现目标的课堂考勤和获得识别目标的课堂参与度。本发明有效的获取每个学生课堂状态,供教师改进教学策略,提高课堂教学质量。

    基于MARS深度特征提取与增强的人体动作识别方法

    公开(公告)号:CN111401207B

    公开(公告)日:2022-07-08

    申请号:CN202010166751.6

    申请日:2020-03-11

    Applicant: 福州大学

    Inventor: 柯逍 柯力

    Abstract: 本发明涉及一种基于MARS深度特征提取与增强的人体动作识别方法,包括以下步骤:S1:从空间和时间两个维度构建基于深层神经网络的三维残差变换模型;S2:采用基于特征的损失和标准的交叉熵损失的线性组合来训练该模型;S3:采用去噪融合算法消除视频数据中的噪声;S4:采用图像旋转方法模拟摄像头的移动和旋转,以模拟实际真实场景中的人体动作识别场景;S5:通过马赛克遮挡算法处理人体动作识别真实场景中的遮挡;S6:使用目标伸缩变换方法提升真实场景中人体目标尺寸的多样性,以使模型不断学习新的数据集;S7:利用训练及优化后的三维残差变换模型进行人体动作识别。该方法有利于提高人体动作识别的准确率和鲁棒性。

Patent Agency Ranking