基于双层注意的多分数立体视频质量评价方法

    公开(公告)号:CN117475264A

    公开(公告)日:2024-01-30

    申请号:CN202311410256.5

    申请日:2023-10-27

    Applicant: 福州大学

    Abstract: 本发明提出基于双层注意的多分数立体视频质量评价方法,包括以下步骤;步骤S1:采用二维视频质量评价模型分别预测左视图及右视图的视频质量,将其预测分数归一化并存储;步骤S2:对立体视频的左、右视图进行裁剪以便于对视频进行特征编码;步骤S3:将左、右视图对应的视频帧分别输入特征提取深度神经网络,并对神经网络用预测分数进行监督训练;步骤S4:模拟双眼融合机制,使用卷积将左、右视图对应的视频帧在特征提取深度神经网络中不同层级的特征融合,设计双层注意机制增强对失真像素的关注;使用3D卷积和池化操作回归,预测出整体视频的质量分数;本发明能够使双眼融合更加符合人眼视觉特性,使得质量评价模型获取的视频失真信息更加全面。

    基于CLIP模型的光场图像质量评估方法及系统

    公开(公告)号:CN117474853A

    公开(公告)日:2024-01-30

    申请号:CN202311409752.9

    申请日:2023-10-27

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于CLIP模型的光场图像质量评估方法及系统,该方法包括以下步骤:步骤S1:创建CLIP模型,创建语言集合,包括光场图片质量语言集合、光场图片语义语言集合和光场图片噪声语言集合;步骤S2:确定质量预测、语义预测和噪声预测任务的联合概率;步骤S3:计算光场图片质量预测的损失、光场图片语义预测的损失和光场图片噪声预测的损失以及总体损失;步骤S4:确定最终损失函数和梯度向量;步骤S5:重复步骤S2至S4训练神经网络模型,直到神经网络模型的权重稳定,创建哈希桶;步骤S6:通过位置敏感哈希算法确定光场图片的最终质量。该方法及系统可以快速、有效地对光场图像质量进行准确的评估。

    基于噪声消除训练和降维注意力机制的安全帽检测方法

    公开(公告)号:CN116758485A

    公开(公告)日:2023-09-15

    申请号:CN202310816812.2

    申请日:2023-07-05

    Applicant: 福州大学

    Inventor: 柯逍 陈文垚

    Abstract: 本发明提出了一种基于噪声消除训练和降维注意力机制的安全帽检测方法,首先通过获取安全帽数据图片以及预处理构建安全帽检测数据集,然后构建噪声消除训练框架代替二分图匹配算法,对每个目标物体的ground‑truth信息添加噪声,引入注意力掩码,对噪声对象进行分组,最后将噪声对象输入Transformer解码器。此外,本发明对Transformer架构中的多头注意力机制进行改进,将关键特征通过一维全局平均池化解耦为一维行特征和一维列特征,然后依次进行行注意力和列注意力,最后进行加权求和。本发明利用子特征融合与跨层感知增强卷积模块构建轻量化的特征提取网络,并将其作为骨干网络加入基于Transformer架构的DETR网络,得到一个轻量化的DETR检测网络。

    基于关键点检测的视频动作整齐度评估方法及系统

    公开(公告)号:CN113486771B

    公开(公告)日:2023-07-07

    申请号:CN202110745695.6

    申请日:2021-06-30

    Applicant: 福州大学

    Inventor: 柯逍 许煌标

    Abstract: 本发明涉及一种基于关键点检测的视频动作整齐度评估方法及系统,该方法包括以下步骤:步骤S1:获取数据集并预处理,训练基于计算机视觉的关键点检测算法;步骤S2:采用所述关键点检测算法对输入的视频图像识别提取骨骼关键点,并输出信息;步骤S3:采用基于余弦相似度的肢体整齐度算法对关键点的信息进行处理,计算肢体整齐度;步骤S4:采用基于距离度量的关节整齐度算法计算关节整齐度,基于肢体和关节整齐度计算综合整齐度,完成最终的评估。该方法及系统可以有效地对视频中的动作整齐度进行评估。

    一种基于特征记忆库的轻量化工业环境缺陷检测方法

    公开(公告)号:CN115690058A

    公开(公告)日:2023-02-03

    申请号:CN202211380109.3

    申请日:2022-11-04

    Applicant: 福州大学

    Abstract: 本发明提出一种基于特征记忆库的轻量化工业环境缺陷检测方法,首先通过拍摄流水线合格产品的俯视图/左视图或右视图,整理成数据集后预处理;其次将数据集输入经过预训练的标准教师模型和初始化后的轻量学生模型,以此对学生模型进行特征知识蒸馏训练;之后将无缺陷产品数据集输入到经过特征知识蒸馏训练的轻量学生模型,提取产品图像对应特征集合并进行多尺度特征集合融合后,进行最大核心集距离采样,建立当前产品线合格产品的特征记忆库;最后将需要检测的流水线生产图像输入到轻量学生模型并进行多尺度特征融合,再与特征记忆库进行最近邻居算法比对,检测当前产品是否包含缺陷;本发明能够在尽量不损失准确率的前提下,提升异常检测的效率。

    一种基于Anchor-free的轻量化实时视频姿态估计方法

    公开(公告)号:CN115661933A

    公开(公告)日:2023-01-31

    申请号:CN202211343627.8

    申请日:2022-10-29

    Applicant: 福州大学

    Inventor: 柯逍 石晓楠

    Abstract: 本发明涉及一种基于Anchor‑free的轻量化实时视频姿态估计方法,包括以下步骤:步骤S1:获取视频数据集,通过抽选关键帧算法,进行关键帧的选择;步骤S2:利用基于Anchor‑free框架的轻量化方法NAFNet,进行关键帧的姿态估计;步骤S3:获取人体姿态估计数据集,进行轻量化模型训练;步骤S4:利用去噪‑恢复‑全局特征性算法,对其余帧进行补全,完成整个视频的姿态估计。

    基于加权特征融合和光流估计修正的物体姿态估计方法

    公开(公告)号:CN115620203A

    公开(公告)日:2023-01-17

    申请号:CN202211343439.5

    申请日:2022-10-29

    Applicant: 福州大学

    Inventor: 柯逍 黄森敏

    Abstract: 本发明涉及一种基于加权特征融合和光流估计修正的物体姿态估计方法,包括以下步骤:步骤S1:获取二维RGB图像信息进行数据增强,加载模型预训练权重;步骤S2:利用进行加权特征融合的yolov5模型提取目标物体的位置特征;步骤S3:增加旋转和平移网络模块,回归生成物体的三维平移和三维旋转六个自由度的信息;步骤S4:使用光流估计方法对步骤S3中生成的位姿信息进行修正,进一步提高姿态估计的质量,得到最终的结果。该方法能够有效地进行物体的姿态估计。

    用于街景理解的基于边缘稠密重建的语义分割方法及系统

    公开(公告)号:CN110059698B

    公开(公告)日:2022-12-23

    申请号:CN201910359119.0

    申请日:2019-04-30

    Applicant: 福州大学

    Abstract: 本发明涉及一种用于街景理解的基于边缘稠密重建的语义分割方法及系统,该方法包括:对训练集输入图像进行预处理,使图像标准化并获取相同尺寸的预处理图像;用卷积网络提取通用特征,再获取三级上下文空间金字塔融合特征,以这两部分级联作为编码网络提取编码特征;利用编码特征获取半输入尺寸编码特征,基于卷积网络获取边缘特征,结合半输入尺寸编码特征,以融合边缘特征的稠密网为解码网络,重建图像分辨率,获取解码特征;计算语义分割损失和辅助监督的边缘损失,以最小化两者加权和损失为目标对深度神经网络进行训练;利用深度神经网络模型对待分割图像进行语义分割,输出分割结果。该方法及系统有利于提高图像语义分割的准确性和鲁棒性。

    一种基于姿态关键帧的视频行人重识别方法及系统

    公开(公告)号:CN110070066B

    公开(公告)日:2022-12-09

    申请号:CN201910359494.5

    申请日:2019-04-30

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于姿态关键帧的视频行人重识别方法及系统,该方法包括以下步骤:步骤A:使用标注了行人姿态关键点位置信息的数据训练行人姿态估计深度神经网络;步骤B:根据行人姿态估计深度神经网络预测得到的姿态信息选取姿态关键帧,训练行人重识别深度神经网络;步骤C:将查询集和检索集的视频输入行人重识别深度神经网络以提取特征,计算各视频间的特征距离,并对各特征距离进行排序,生成各查询视频的近邻列表;步骤D:利用重排序方法对近邻列表进行重新排序,选取近邻列表的前若干名为行人重识别结果。该方法及系统可以提高视频行人重识别的准确度和速度。

Patent Agency Ranking