-
公开(公告)号:CN119027845B
公开(公告)日:2025-02-14
申请号:CN202411514321.3
申请日:2024-10-29
Applicant: 华侨大学 , 泉州圣源警用侦察设备有限公司
IPC: G06V20/17 , G06V10/25 , G06V10/764 , G06V10/77 , G06V10/774 , G06V10/80
Abstract: 本发明涉及图像处理与人工智能技术领域,公开了一种无人机森林火灾风险区块检测方法及系统,方法包括:构建基于区块分类的目标检测模型并进行训练,利用训练好的基于区块分类的目标检测模型实现无人机森林火灾风险区块检测;所述基于区块分类的目标检测模型利用区块映射器无人机图像中的不同区块映射为区块特征;利用多阶段采样网络对区块特征进行多种尺度的采样,并利用降维映射层进行尺度对齐,获得多尺度区块特征;通过哈达玛积融合多尺度区块特征,利用区块分类器将融合后的多尺度区块特征映射至区块类别概率。本发明以区域分类方式实现风险区块的定位,避免了现有技术因精确定位导致的庞大计算量,延长无人机可用时间。
-
公开(公告)号:CN119068266A
公开(公告)日:2024-12-03
申请号:CN202411551042.4
申请日:2024-11-01
Applicant: 华侨大学 , 泉州圣源警用侦察设备有限公司
IPC: G06V10/764 , G06V10/74 , G06V10/774 , G06V10/82 , G06V20/52 , G06F17/16
Abstract: 本发明涉及图像处理与目标识别技术领域,公开了一种基于真伪标签一致性的跨模态行人再辨识方法及系统,方法包括:通过深度神经网络对可见光与红外光两种不同模态的行人图像提取特征向量;计算同模态、不同模态间的特征向量相似度,构建同模态、跨模态匹配矩阵,并进行归一化处理,生成同模态和跨模态归一化匹配矩阵;采用跨模态归一化匹配矩阵和同模态归一化匹配矩阵对真实标签进行投影,获得跨模态伪标签;优化真实标签与跨模态伪标签之间的Kullback‑Leibler(KL)散度,从而优化同模态和跨模态匹配矩阵,提升匹配矩阵对模态变化的鲁棒性,从而提升跨模态行人再辨识准确性。
-
公开(公告)号:CN118865075B
公开(公告)日:2024-12-03
申请号:CN202411319739.9
申请日:2024-09-23
Applicant: 华侨大学
IPC: G06V10/98 , G06N3/043 , G06N3/0464 , G06V10/776 , G06V10/82
Abstract: 本发明公开了一种基于分层时空感知的屏幕内容视频质量评价方法及装置,涉及视频评价领域,包括:提取屏幕内容视频中的若干个碎片化视频和若干个关键帧并输入经训练的屏幕内容视频质量评价模型,每个关键帧输入显著性计算模块筛选出若干个显著视频块,每个显著视频块输入双通道卷积神经网络,得到每个阶段的多层特征并输入块级质量评估模块,经过空间门特征增强模块,得到每个阶段的增强特征并输入块级质量聚合模块,得到每个视频块的块级质量分数;采用自适应加权策略计算得到空域感知质量分数;碎片化视频输入时域感知质量评估支路,得到时域感知质量分数,两者结合计算得到屏幕内容视频的质量分数,解决现有视频质量评价方法可靠性差的问题。
-
公开(公告)号:CN118379777B
公开(公告)日:2024-11-22
申请号:CN202410807403.0
申请日:2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号:CN118632027B
公开(公告)日:2024-10-29
申请号:CN202411083106.2
申请日:2024-08-08
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/85 , H04N19/91 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法,涉及点云压缩技术领域,包括:编码器接收原始点云,利用最远点采样实现全局均匀采样,利用图卷积网络实现局部密度采样,按比例选择全局均匀采样后的点云和局部密度采样后的点云,获得下采样后的点云,再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征;熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征;解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取,提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销,提高压缩效率。
-
公开(公告)号:CN118381920B
公开(公告)日:2024-09-17
申请号:CN202410807401.1
申请日:2024-06-21
Applicant: 华侨大学
IPC: H04N19/147 , G06V10/80 , G06V10/44 , G06V10/54
Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法,涉及视频编码领域,包括:计算像素的几何失真权重;将帧内划分为纹理区域与深度区域,提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征,自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征;使用纹理复杂度特征与融合边缘特征组成的联合特征,计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子;根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子;基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。
-
公开(公告)号:CN118632027A
公开(公告)日:2024-09-10
申请号:CN202411083106.2
申请日:2024-08-08
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/85 , H04N19/91 , G06V10/82 , G06N3/042 , G06N3/0442 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于图卷积网络的点云压缩方法,涉及点云压缩技术领域,包括:编码器接收原始点云,利用最远点采样实现全局均匀采样,利用图卷积网络实现局部密度采样,按比例选择全局均匀采样后的点云和局部密度采样后的点云,获得下采样后的点云,再使用边缘卷积、点变压器和注意力机制分别进行动态特征学习和融合获得融合特征;熵瓶颈层对下采样后的点云和融合特征进行压缩‑解压缩获得重建点云和重建特征;解码器基于SGFN和DenseGCN对重建点云和重建特征进行特征提取,提取到的特征通过上采样和坐标重建获得重建后的点云。本发明能够在保证相同视觉质量的前提下显著降低比特率开销,提高压缩效率。
-
公开(公告)号:CN118469876A
公开(公告)日:2024-08-09
申请号:CN202410912771.1
申请日:2024-07-09
Applicant: 华侨大学
IPC: G06T5/77 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T5/60
Abstract: 本发明公开了一种基于强感知Transformer架构的缺损视频修复方法及系统,涉及视频处理技术领域,方法包括以下步骤:特征提取模块接收待修复的缺损视频帧序列,采用卷积神经网络对视频帧进行特征提取,输出第一特征;强感知Transformer模块接收第一特征,采用交叉堆叠的局部感知Transformer和全局感知Transformer结构对第一特征进行纹理信息建模和结构信息建模,输出第二特征;重构模块接收第二特征,采用反卷积层进行视频帧重建,输出修复后视频帧序列。本发明采用交叉堆叠的局部感知Transformer和全局感知Transformer进行纹理信息和结构信息建模,有效解决现阶段缺损视频修复方法中存在修复区域缺乏细节纹理、全局结构与局部纹理不匹配的问题,实现更好的修复效果。
-
公开(公告)号:CN118381920A
公开(公告)日:2024-07-23
申请号:CN202410807401.1
申请日:2024-06-21
Applicant: 华侨大学
IPC: H04N19/147 , G06V10/80 , G06V10/44 , G06V10/54
Abstract: 本发明公开了一种基于联合特征的MIV沉浸式视频率失真优化方法,涉及视频编码领域,包括:计算像素的几何失真权重;将帧内划分为纹理区域与深度区域,提取纹理区域的纹理复杂度特征、纹理区域的边缘特征和深度区域的边缘特征,自适应融合纹理区域的边缘特征和深度区域的边缘特征以得到融合边缘特征;使用纹理复杂度特征与融合边缘特征组成的联合特征,计算得到纹理区域的失真度量缩放因子与深度区域的失真度量缩放因子;根据纹理区域的失真度量缩放因子、失真度量缩放因子和几何失真权重计算新拉格朗日乘子;基于新拉格朗日乘子实现沉浸式视频的率失真优化。本发明可以使得最终渲染的沉浸式视频具有更好的渲染质量与率失真性能。
-
公开(公告)号:CN118379777A
公开(公告)日:2024-07-23
申请号:CN202410807403.0
申请日:2024-06-21
Applicant: 华侨大学
IPC: G06V40/16 , G06N3/0442 , G06N3/0475 , G06N3/094 , G06V10/774 , G06V10/82 , G06V20/40 , G06V40/20 , G10L21/10
Abstract: 本发明公开了一种基于姿势对抗网络的人脸视频生成方法及系统,涉及图像处理技术领域,方法包括:构建人脸视频生成模型,包括图像编码器、音频编码器、头部运动预测模块、姿势编码器和解码器,所述人脸视频生成模型接收人脸图像和语音音频,生成人脸说话视频;获取训练数据集并对人脸视频生成模型进行预训练;构建唇型同步判别器作为判别器,对预训练人脸视频生成模型进行生成对抗训练;利用训练好的人脸视频生成模型实现人脸视频生成。本发明利用音频信号的动态特性对头部运动进行建模,并结合生成对抗网络与唇型同步判别器提高人脸视频的唇形同步精度,同时兼顾视频的逼真度,使得其更加真实、自然,从而为各种应用场景提供了更多的灵活性。
-
-
-
-
-
-
-
-
-