基于语义变化的视频质量评估方法
    191.
    发明公开

    公开(公告)号:CN115620116A

    公开(公告)日:2023-01-17

    申请号:CN202211373056.2

    申请日:2022-11-03

    Applicant: 福州大学

    Abstract: 本发明提出基于语义变化的视频质量评估方法,包括以下步骤;步骤S1:对于移动设备拍摄的不同场景的视频,对视频的每一个帧提取边缘特征;步骤S2:将视频每一帧的边缘与原始图像分别输入空间特征提取网络,获取视频的多尺度空间特征,同时将视频输入时间特征提取网络,获取多尺度时间特征,对多尺度特征进行多频率分量池化和标准池化;步骤S3:将池化后的结果合并,获得视频的时空特征,并将时空特征降维;步骤S4:将降维后的视频时空特征输入质量预测网络建模时序关系,进而预测出整体视频的质量分数;本发明能够有效地提取视频的时空特征并加入语义变化信息,使得质量评价模型获取的视频失真信息更加全面。

    基于双向匹配的无监督域适应方法
    192.
    发明公开

    公开(公告)号:CN115620091A

    公开(公告)日:2023-01-17

    申请号:CN202211388976.1

    申请日:2022-11-03

    Applicant: 福州大学

    Inventor: 柯逍 卞永亨

    Abstract: 本发明提出一种基于双向匹配的无监督域适应方法,包括以下步骤:步骤S1:将源域和目标域的图像数据进行混合,对混合后的图像进行随机旋转等操作进行数据增强;步骤S2:通过基于置信度的机器学习方法对神经网络进行训练;通过一致性正则化保证模型收敛的稳定性;步骤S3:通过对目标域模型微调保证目标域模型的可靠性;步骤S4:进行模型推理,并通过设置阈值保证推理结果的稳定性。本发明为解决域适应的问题,通过两个模型互相学习的方式提高模型整体准确度,通过一致性正则化防止模型收敛过程中过拟合,在推理过程中通过设置阈值,保证结果的可靠性,使得整个网络结果能取得更加准确的域适应效果。

    基于多粒度Vit自动编码器的图像重建方法

    公开(公告)号:CN115619681A

    公开(公告)日:2023-01-17

    申请号:CN202211374681.9

    申请日:2022-11-04

    Applicant: 福州大学

    Inventor: 柯逍 许培荣

    Abstract: 本发明涉及一种基于多粒度Vit自动编码器的图像重建方法,包括以下步骤:步骤S1:构建图像重建训练集,并训练基于Vit的图像重建精化器,所述基于Vit的图像重建精化器包括编码器、解码器和跳跃连接模块;步骤S2:将原始图像输入编码器得到中间特征,并在每层编码层中采样编码器本地信息;步骤S3:将得到的中间特征输入解码器还原图像信息,并在每层解码过程将解码信息与全局信息进行融合。本发明通过该多粒度Vit图像精化器网络实现图像重建下任务下的有效降噪处理和图像超分辨率。

    基于时空信息和光流提取的双模态异常骨骼数据修正方法

    公开(公告)号:CN115619680A

    公开(公告)日:2023-01-17

    申请号:CN202211374668.3

    申请日:2022-11-04

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于时空信息和光流提取的双模态异常骨骼数据修正方法,包括以下步骤:S1:获取人体运动视频数据集并预处理,得到训练数据集,并基于训练数据集训练基于计算机视觉的人体姿态估计器;S2:根据训练后的人体姿态估计器对输入的视频序列生成每个视频帧的初始姿态,并对初始姿态进行异常检测;S3:分别从异常帧前后寻找最近可信前序帧和最近可信后序帧,提取最近可信前后序帧间连续序列的光流信息;S4:根据获得的光流信息,分别按时间顺序进行前向光流修正和逆向前向光流修正,结合双向修正结果,预测并修正异常骨骼数据。本发明能够有效地对视频中的人体异常骨骼数据进行检测,最终预测并修正异常骨骼数据,提高骨骼数据的准确度。

    一种面向全场景的实时性车牌检测方法及系统

    公开(公告)号:CN112132130B

    公开(公告)日:2022-10-04

    申请号:CN202010999847.0

    申请日:2020-09-22

    Applicant: 福州大学

    Abstract: 本发明涉及一种面向全场景的实时性车牌检测方法及系统,包括步骤:生成用于网络训练和测试的训练集和测试集;修改YOLOv3‑tiny网络结构,生成MD‑YOLO模型;采用训练集训练构建的MD‑YOLO模型,并基于mAP选取最优的权重文件;将待检测车牌作为训练好的MD‑YOLO模型的输入,输出带车牌检测框的结果返回。本发明能够完成任意场景下的直接车牌区域提取。

    一种基于部位注意力的行人重识别方法及系统

    公开(公告)号:CN111259837B

    公开(公告)日:2022-10-04

    申请号:CN202010067243.2

    申请日:2020-01-20

    Applicant: 福州大学

    Abstract: 本发明涉及一种基于部位注意力的行人重识别方法及系统,该方法包括以下步骤:A、输入训练集各行人视频到特征提取深度网络,得到中间特征并输入部位推断深度网络,得到K个部位的注意力热力图;B、做哈达玛积运算得到局部中间特征,再输入K个局部提取深度网络得到K个部位的局部特征;C、计算各部位的有效系数,对局部特征进行加权融合得到融合局部特征;D、计算全局特征,拼接全局特征和融合局部特征得到视频特征,输入全连接层得到分类向量;E、计算联合损失,计算各网络参数的梯度,后更新各网络参数,完成各网络训练过程;F、输入查询视频和检索集各视频到训练完成的各网络进行行人重识别。该方法及系统有利于提高行人重识别的性能。

    一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法

    公开(公告)号:CN110119703B

    公开(公告)日:2022-10-04

    申请号:CN201910373679.1

    申请日:2019-05-07

    Applicant: 福州大学

    Inventor: 柯逍 柯力

    Abstract: 本发明提出一种安防场景下融合注意力机制和时空图卷积神经网络的人体动作识别方法,首先对获取的安防场景下的人体动作分析数据集进行随机划分,分为为训练集和验证集;其次对训练集和验证集视频数据进行数据增强处理;接着对获取的和增强的数据集利用注意力机制进行关键帧筛选;然后对筛选出来的关键帧视频利用人体姿态估计模型框架进行转码和标注,为训练人体动作检测与识别模型做好准备;最后构建时空骨骼图卷积神经网络模型,并使用训练集进行训练并利用随机梯度下降进行优化网络参数权重,使用验证集进行神经网络模型的准确率预测。其不仅可以扩大原始动作数据量,还可以增强模型的鲁棒性,进而提升最终的动作识别准确率。

    基于多尺度特征融合注意力的实时动作检测方法

    公开(公告)号:CN115131710A

    公开(公告)日:2022-09-30

    申请号:CN202210785189.4

    申请日:2022-07-05

    Applicant: 福州大学

    Inventor: 柯逍 缪欣

    Abstract: 本发明涉及一种基于多尺度特征融合注意力的实时动作检测方法,首先对数据集视频片段进行帧集划分,通过随机排序操作对其进行数据增强。其次,对输入视频片段进行关键帧的提取,获得的关键帧进行光流信息的提取。将获取到视频片段、关键帧以及关键帧光流分别输入ResNext101以及Darknet网络进行特征提取,并通过多尺度特征融合注意力模块对特征进行增强,拼接时空特征通过通道注意力进一步融合时空特征,最后通过分类以及回归得到类别边界框以及置信度,经过NMS(非极大值抑制),得出预测结果。

    一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法

    公开(公告)号:CN110084201B

    公开(公告)日:2022-09-13

    申请号:CN201910353400.3

    申请日:2019-04-29

    Applicant: 福州大学

    Inventor: 柯逍 柯力

    Abstract: 本发明提出一种监控场景下基于特定目标跟踪的卷积神经网络的人体动作识别方法,其首先对获取监控场景下的人体动作分析数据库,并对该数据库进行随机划分,分为为训练集和验证集;其次对划分完成的训练集和验证集视频数据进行数据增强处理,并对视频数据进行编码。然后直接从输入视频图像序列中检测到运动目标,并进行目标识别,进而跟踪感兴趣的运动目标;最后对感兴趣的运动目标进行构建时空骨骼图卷积神经网络模型,使用训练集进行训练并利用自适应矩估计梯度进行优化网络参数权重,使用验证集进行特定目标跟踪的卷积神经网络模型的准确率预测。其不仅可以扩大原始动作数据量,还可以增强模型的鲁棒性,进而提升最终的动作识别准确率。

    一种基于连通域分析和形态学操作的框线检测方法

    公开(公告)号:CN110033471B

    公开(公告)日:2022-09-13

    申请号:CN201910317129.8

    申请日:2019-04-19

    Applicant: 福州大学

    Inventor: 柯逍 王俊强

    Abstract: 本发明涉及一种基于连通域分析和形态学操作的框线检测方法。首先对读入的待检测表格文档图像进行灰度化,将得到的灰度图像二值化;然后对得到的二值图像进行形态学膨胀操作,对膨胀操作之后的二值图像进行连通域检测,接下来对得到的框线轮廓内部进行填充操作,最后对框线增强之后的图像进行基于深度学习方法的图像去噪;对经过框线增强操作后的表格文档图像,分别定义两个结构元素作为形态学腐蚀和膨胀操作的内核矩阵参数,经过形态学腐蚀和膨胀操作之后把表格文档的横框线和竖框线分别检测并提取出来,然后采用基于NPcanny的直线检测算法对图像中的直线进行再次检测,将提取出来的横纵框线进行交叉,得到表格文档图像中完整的框线结构。

Patent Agency Ranking