公开(公告)号：CN118918505A

公开(公告)日：2024-11-08

申请号：CN202410942902.0

申请日：2024-07-15

Applicant: 福州大学

Inventor： 郭文忠 ,  张恺睿 ,  柯逍

IPC: G06V20/40 ,  G06V10/764 ,  G06V10/774 ,  G06N3/048 ,  G06N3/0475 ,  G06N3/09 ,  H04N21/475 ,  H04N21/2343 ,  H04N21/234 ,  H04N21/44 ,  H04N21/4402

Abstract: 本发明涉及一种基于辅助意见的零样本视频质量评价方法，属于计算机视觉领域。包括：对视频时间下采样，计算空间自然分数；对同样视频空间下采样，计算出时间自然分数，将空间自然分数、时间自然分数分别经过高斯归一化和Sigmoid函数重新缩放；将对抗性语言‑图像预训练模型CLIP在图像质量评价数据集上进行微调，并添加场景和失真类型的标签，建立文本提示，使文本提示与图像对应的特征建立对应关系；对视频时空下采样，嵌入经过微调后的CLIP，提取视频整体相关的高级语义特征，使用CLIP预测文本建议质量分数，并通过高斯归一化和Sigmoid函数重新缩放对齐分数；将计算出的时间自然分数、空间自然分数和文本建议质量分数相加，得到更全面的视频质量分数。

公开(公告)号：CN115620116A

公开(公告)日：2023-01-17

申请号：CN202211373056.2

申请日：2022-11-03

Applicant: 福州大学

Inventor： 郭文忠 ,  张恺睿 ,  柯逍

IPC: G06V10/98 ,  G06V20/40 ,  G06V10/52 ,  G06V10/77 ,  G06V10/82

Abstract: 本发明提出基于语义变化的视频质量评估方法，包括以下步骤；步骤S1：对于移动设备拍摄的不同场景的视频，对视频的每一个帧提取边缘特征；步骤S2：将视频每一帧的边缘与原始图像分别输入空间特征提取网络，获取视频的多尺度空间特征，同时将视频输入时间特征提取网络，获取多尺度时间特征，对多尺度特征进行多频率分量池化和标准池化；步骤S3：将池化后的结果合并，获得视频的时空特征，并将时空特征降维；步骤S4：将降维后的视频时空特征输入质量预测网络建模时序关系，进而预测出整体视频的质量分数；本发明能够有效地提取视频的时空特征并加入语义变化信息，使得质量评价模型获取的视频失真信息更加全面。

公开(公告)号：CN117475264A

公开(公告)日：2024-01-30

申请号：CN202311410256.5

申请日：2023-10-27

Applicant: 福州大学

Inventor： 郭文忠 ,  张恺睿 ,  柯逍

IPC: G06V10/776 ,  G06V10/774 ,  G06V10/80

Abstract: 本发明提出基于双层注意的多分数立体视频质量评价方法，包括以下步骤；步骤S1：采用二维视频质量评价模型分别预测左视图及右视图的视频质量，将其预测分数归一化并存储；步骤S2：对立体视频的左、右视图进行裁剪以便于对视频进行特征编码；步骤S3：将左、右视图对应的视频帧分别输入特征提取深度神经网络，并对神经网络用预测分数进行监督训练；步骤S4：模拟双眼融合机制，使用卷积将左、右视图对应的视频帧在特征提取深度神经网络中不同层级的特征融合，设计双层注意机制增强对失真像素的关注；使用3D卷积和池化操作回归，预测出整体视频的质量分数；本发明能够使双眼融合更加符合人眼视觉特性，使得质量评价模型获取的视频失真信息更加全面。