基于感兴趣区域的VVC码率控制方法及装置

    公开(公告)号:CN118101938B

    公开(公告)日:2024-06-25

    申请号:CN202410497734.9

    申请日:2024-04-24

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。

    基于卷积神经网络的3D-HEVC深度图帧内编码单元划分方法及装置

    公开(公告)号:CN116668723A

    公开(公告)日:2023-08-29

    申请号:CN202310550087.9

    申请日:2023-05-16

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于卷积神经网络的3D‑HEVC深度图帧内编码单元划分方法及装置,通过构建编码单元划分预测模型并训练,采用3D‑HEVC编码器对当前待编码块进行编码,在编码过程中确定编码单元的当前尺寸和当前编码量化参数;根据编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式,在速度模式中,将预测值作为当前待编码块的划分结果;在性能模式中,使用3D‑HEVC编码器预测当前待编码块的划分结果;判断编码单元的当前尺寸是否大于第四尺寸,若是则调整当前待编码块的尺寸缩小一个级别,并重复以上步骤,直至得到当前待编码块的所有划分结果,本方法在保证一定编码质量的前提下,能够显著节省深度图编码所需时间。

    一种针对H.266/VVC帧内预测编码的快速编码单元划分方法

    公开(公告)号:CN114885172A

    公开(公告)日:2022-08-09

    申请号:CN202210389982.2

    申请日:2022-04-14

    Applicant: 华侨大学

    Abstract: 本发明提供的一种针对H.266/VVC帧内预测编码的快速编码单元划分方法,根据纹理描述符对当前编码CU的纹理复杂度进行判别,若为平坦区域,则终止当前CU的划分,将尺寸为64×64的CU块采取四叉树划分,得到尺寸为32×32的CU块,计算水平、垂直活动度,若水平、垂直活动度之差小于设定阈值,则采取VTM默认方式,若水平活动度大于垂直活动度,则计算四叉树划分、水平二叉树划分和水平三叉树划分的纹理活动度,若垂直活动度大于水平活动度,计算四叉树划分、垂直二叉树划分和垂直三叉树划分的纹理活动度,并对纹理活动度大小进行判别,选择对应划分方式,否则采取VTM默认方式;本发明方法能提前终止平坦的CU块划分,跳过大量的代价计算,简单有效地节省编码时间。

    一种基于三维边缘相似度特征的点云质量分析方法

    公开(公告)号:CN114581389A

    公开(公告)日:2022-06-03

    申请号:CN202210176395.5

    申请日:2022-02-24

    Applicant: 华侨大学

    Abstract: 本发明提供了一种基于三维边缘相似度特征的点云质量分析方法,该方法考虑到人眼视觉系统特性对点云图像的边缘轮廓特征具有较高的敏感性,且考虑到了点云的三维特征,将参考和失真点云尺度归一化后采用多尺度的3D‑DOG滤波器提取其边缘和结构特征,多尺度的滤波器可以从不同程度展现点云的细节,即可以从不同的角度有效地反映点云的退化程度;该方法充分利用人眼视觉对于边缘信息的敏感度,模拟了人眼主观评价点云图像的过程,相较于其他方法具有较好的点云质量分析性能,且本发明方法具有较高的识别准确性、敏感性以及鲁棒性。

    基于多教师联合指导量化的模型压缩方法及系统

    公开(公告)号:CN114239861A

    公开(公告)日:2022-03-25

    申请号:CN202111543069.5

    申请日:2021-12-16

    Applicant: 华侨大学

    Abstract: 本发明实例公开了一种基于多教师联合指导量化的网络模型压缩方法及系统,利用模型量化降低深度神经网络的存储开销,提高推理速度;基于在线同步学习的联合训练范式,结合集成学习中对弱学习进行线性组合构建强学习的思想,由多个教师网络对学生网络进行量化感知训练,充分利用教师网络提供的量化梯度信息,以弥补量化压缩造成的性能损失;最后,再以全精度模型作为教师网络,通过离线知识蒸馏进一步训练量化学生网络,最终得到精度不逊于复杂模型的轻量级模型。本发明有效结合了模型量化、知识蒸馏以及集成学习的优势,在实现模型压缩与加速的同时也提升了模型性能。

    基于多任务学习与知识蒸馏的车辆再辨识方法及系统

    公开(公告)号:CN114022697A

    公开(公告)日:2022-02-08

    申请号:CN202111109745.8

    申请日:2021-09-18

    Applicant: 华侨大学

    Abstract: 本发明实例公开了一种基于多任务学习与知识蒸馏的车辆再辨识方法及系统,利用多任务学习架构使网络同时学习多个相关联任务所需的知识,从而习得表征更丰富的通用特征,提高模型的泛化能力;同时,将多任务学习训练得到的模型作为教师网络,将结构相似、参数量更少的紧凑模型作为学生网络,通过知识蒸馏,利用大型教师网络的内部层间知识对小型学生网络的训练进行监督,得到精度不逊于复杂模型的轻量化模型。本发明针对车辆再辨识的任务特点改进了网络结构与训练范式,既提升了模型性能,也对其进行了有效的压缩与加速。

    基于多尺度八叉树注意力机制的点云压缩方法及装置

    公开(公告)号:CN120075476A

    公开(公告)日:2025-05-30

    申请号:CN202510541659.6

    申请日:2025-04-28

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多尺度八叉树注意力机制的点云压缩方法及装置,涉及图像处理领域,包括:编码器网络接收点云数据,利用降尺度特征提取器对点云进行下采样和特征提取,获得降尺度的深层特征点云,通过递归方式将其编码为八叉树,并根据八叉树节点之间的关系构建上下文窗口,引入多头注意力机制对八叉树节点进行特征融合,得到八叉树节点的占用概率,再使用算术编码将其压缩为比特流;解码器网络通过对比特流进行解压缩,获得重建后的点云,利用升尺度特征重建器对其进行上采样和特征重建,最终获得与初始点云相同分辨率的重建点云。本发明能够在保证相同点云质量的前提下,有效提高点云压缩的效率,减少比特开销。

    一种基于宽度学习的半监督多视图聚类集成方法及系统

    公开(公告)号:CN119479047B

    公开(公告)日:2025-04-29

    申请号:CN202510066012.2

    申请日:2025-01-16

    Abstract: 本发明涉及机器学习领域,公开了一种基于宽度学习的半监督多视图聚类集成方法及系统,方法包括以下步骤:构建一种可以依据多视图人脸图像数据进行特征处理的基于宽度学习的自编码器,用于对输入的人脸图像进行特征提取,并基于宽度学习计算不同节点特征的权重;结合基于宽度学习的自编码器和双向约束传播构建聚类集成模型;利用聚类集成模型实现多视图人脸图像的聚类集成。本发明利用宽度学习系统的性能优势进行多视图数据的聚类处理,得到兼具效率与性能的模型网络,引入了流型结构和成对约束,并且在共识过程中采用了约束传播,丰富样本信息,有效提升基于宽度学习的聚类集成网络模型的鲁棒性和准确性,因而在实际场景中更具适用性。

Patent Agency Ranking