公开(公告)号：CN118038227A

公开(公告)日：2024-05-14

申请号：CN202410278475.0

申请日：2024-03-12

Applicant: 哈尔滨工业大学

Inventor： 刘绍辉 ,  米亚纯 ,  李宇 ,  周浦超 ,  姜峰

IPC: G06V10/80 ,  G06V20/40 ,  G06N3/0464 ,  G06N3/0455 ,  G06V10/82 ,  G06V10/40

Abstract: 基于语义信息的无参考视频质量评价方法以及装置，属于视觉语言大模型，尤其涉及无参考视频质量的评价技术领域；解决了现有基于深度学习的无参考视频质量评价方法所存在的提取的特征解释性低、对视频质量的评价与人类视觉感知一致性差的问题；所述方法包括以下步骤：S1、语义特征提取步骤：S2、空间特征提取步骤：S3、特征聚合步骤：S3.1、将所述待评价视频的2×r维的语义特征向量和空间特征向量连接起来，获得所述待评价视频的质量特征；S3.2、将所述待评价视频的质量特征作为回归头的输入，获得所述待评价视频的质量评价分数。所述的基于语义信息的无参考视频质量评价方法以及装置，适用于无参考视频质量的评价。

公开(公告)号：CN118115917A

公开(公告)日：2024-05-31

申请号：CN202410278473.1

申请日：2024-03-12

Applicant: 哈尔滨工业大学

Inventor： 刘绍辉 ,  米亚纯 ,  李宇 ,  周浦超 ,  姜峰

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0455 ,  G06N3/0442 ,  G06N3/0895

Abstract: 无参考视频质量评价方法、程序产品及存储介质，属于视觉语言大模型，尤其涉及无参考视频质量的评价技术领域；解决了现有基于深度学习的无参考视频质量评价方法所存在的提取的特征解释性低、与人类视觉系统的感知一致性差的问题；所述方法包括以下步骤：S1、特征提取：S1.2、将所述N条文本描述和待评价视频作为所述CLIP模型的输入，获得所述待评价视频的每一个视频帧的N维特征向量；S2、特征降维；S3、特征聚合；S3.4、将所述表征每一个视频帧的质量评价分数与所述待评价视频的整体质量评价分数之间关系的参数输入MLP模块，获得所述待评价视频的整体质量评价分数。所述的无参考视频质量评价方法，适用于无参考视频质量的评价。