基于感兴趣区域的VVC码率控制方法及装置

    公开(公告)号:CN118101938B

    公开(公告)日:2024-06-25

    申请号:CN202410497734.9

    申请日:2024-04-24

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置,涉及视频编码领域,方法包括:使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI;使用斯塔克尔伯格模型对ROI的失真进行建模,并采用二分法求解ROI的目标比特;计算编码图像的JND图作为空域视觉敏感度,对8x8互不重叠的子块进行运动估计,得到时域视觉敏感度;将有约束问题转化为无约束问题,并采用KKT条件进行最优化求解,得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长,人眼对ROI区域重点关注,提取空时域感知敏感度,对ROI和nROI的比特分配问题分别建模并进行最优化求解,合理进行比特分配。

    一种基于视角自适应特征学习的行人性别识别方法

    公开(公告)号:CN111160226A

    公开(公告)日:2020-05-15

    申请号:CN201911370041.9

    申请日:2019-12-26

    Applicant: 华侨大学

    Abstract: 本发明涉及一种基于视角自适应特征学习的行人性别识别方法包括:视角自适应训练过程,性别识别过程。本发明利用输入行人的视角信息来指导卷积神经网络的特征学习过程,以减轻行人视角变化对神经网络进行性别识别的影响,使训练得到的网络模型具有更加准确的行人性别识别效果。本发明结合了行人的视角信息,解决了以往基于卷积神经网络用在行人性别识别问题上的不足,有效地提高了行人性别识别精度。本发明可以被广泛地应用在智能视频监控场景,例如大型商场,机场,火车站等。

    一种无人机森林火灾风险区块检测方法及系统

    公开(公告)号:CN119027845B

    公开(公告)日:2025-02-14

    申请号:CN202411514321.3

    申请日:2024-10-29

    Abstract: 本发明涉及图像处理与人工智能技术领域,公开了一种无人机森林火灾风险区块检测方法及系统,方法包括:构建基于区块分类的目标检测模型并进行训练,利用训练好的基于区块分类的目标检测模型实现无人机森林火灾风险区块检测;所述基于区块分类的目标检测模型利用区块映射器无人机图像中的不同区块映射为区块特征;利用多阶段采样网络对区块特征进行多种尺度的采样,并利用降维映射层进行尺度对齐,获得多尺度区块特征;通过哈达玛积融合多尺度区块特征,利用区块分类器将融合后的多尺度区块特征映射至区块类别概率。本发明以区域分类方式实现风险区块的定位,避免了现有技术因精确定位导致的庞大计算量,延长无人机可用时间。

    基于分层时空感知的屏幕内容视频质量评价方法及装置

    公开(公告)号:CN118865075B

    公开(公告)日:2024-12-03

    申请号:CN202411319739.9

    申请日:2024-09-23

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。

    一种基于姿势对抗网络的人脸视频生成方法及系统

    公开(公告)号:CN118379777B

    公开(公告)日:2024-11-22

    申请号:CN202410807403.0

    申请日:2024-06-21

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。

    一种基于图卷积网络的点云压缩方法

    公开(公告)号:CN118632027B

    公开(公告)日:2024-10-29

    申请号:CN202411083106.2

    申请日:2024-08-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法,涉及点云压缩技术领域,包括:编码器接收原始点云,利用最远点采样实现全局均匀采样,利用图卷积网络实现局部密度采样,按比例选择全局均匀采样后的点云和局部密度采样后的点云,获得下采样后的点云,再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征;熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征;解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取,提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销,提高压缩效率。

    一种基于联合特征的MIV沉浸式视频率失真优化方法

    公开(公告)号:CN118381920B

    公开(公告)日:2024-09-17

    申请号:CN202410807401.1

    申请日:2024-06-21

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法,涉及视频编码领域,包括:计算像素的几何失真权重;将帧内划分为纹理区域与深度区域,提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征,自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征;使用纹理复杂度特征与融合边缘特征组成的联合特征,计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子;根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子;基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。

    一种基于图卷积网络的点云压缩方法

    公开(公告)号:CN118632027A

    公开(公告)日:2024-09-10

    申请号:CN202411083106.2

    申请日:2024-08-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法,涉及点云压缩技术领域,包括:编码器接收原始点云,利用最远点采样实现全局均匀采样,利用图卷积网络实现局部密度采样,按比例选择全局均匀采样后的点云和局部密度采样后的点云,获得下采样后的点云,再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征;熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征;解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取,提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销,提高压缩效率。

Patent Agency Ranking