-
公开(公告)号:CN119180752B
公开(公告)日:2025-02-25
申请号:CN202411678685.5
申请日:2024-11-22
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
IPC: G06T3/4053 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06T3/4046
Abstract: 本发明公开了一种基于高效频域Transformer的轻量级图像超分辨率方法及装置,涉及图像处理领域,包括:构建基于高效频域Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型,图像超分辨率模型包括第一卷积层、亚像素卷积层、第二卷积层以及若干个高效频域Transformer模块;获取待重建的低分配率图像和上采样因子并输入经训练的图像超分辨率模型,先经过第一卷积层,得到第一卷积层的输出特征,第一卷积层的输出特征依次经过若干个高效频域Transformer模块,将最后一个高效频域Transformer模块的输出特征与第一卷积层的输出特征相加,得到第二相加结果,第二相加结果依次经过亚像素卷积层和第二卷积层,得到高分辨率重建图像。本发明克服现有Transformer方法计算复杂度过高的问题。
-
公开(公告)号:CN119068266B
公开(公告)日:2025-02-14
申请号:CN202411551042.4
申请日:2024-11-01
Applicant: 华侨大学 , 泉州圣源警用侦察设备有限公司
IPC: G06V10/764 , G06V10/74 , G06V10/774 , G06V10/82 , G06V20/52 , G06F17/16
Abstract: 本发明涉及图像处理与目标识别技术领域,公开了一种基于真伪标签一致性的跨模态行人再辨识方法及系统,方法包括:通过深度神经网络对可见光与红外光两种不同模态的行人图像提取特征向量;计算同模态、不同模态间的特征向量相似度,构建同模态、跨模态匹配矩阵,并进行归一化处理,生成同模态和跨模态归一化匹配矩阵;采用跨模态归一化匹配矩阵和同模态归一化匹配矩阵对真实标签进行投影,获得跨模态伪标签;优化真实标签与跨模态伪标签之间的Kullback‑Leibler(KL)散度,从而优化同模态和跨模态匹配矩阵,提升匹配矩阵对模态变化的鲁棒性,从而提升跨模态行人再辨识准确性。
-
公开(公告)号:CN119323805A
公开(公告)日:2025-01-17
申请号:CN202411876774.0
申请日:2024-12-19
Applicant: 华侨大学
IPC: G06V40/10 , G06N3/0464 , G06N3/084 , G06V10/32 , G06V40/20
Abstract: 本发明公开了一种动静正则混合采样的行人再辨识方法及系统,涉及公共安全智能视频监控技术领域。实践中,采样常独立于行人再辨识模型训练,导致训练过程采样的信息丢失不受控制,制约识辨准确性。为此,本发明设计了正则动态线性采样和静态线性采样混和方法,实现行人再辨识模型训练过程中联合优化采样效果,其中,前者通过归一化的可学习参数,以数据驱动的动态方式学得动态的像素组合权重;后者利用双线性变换来确定静态的像素组合权重,实现与数据无关的采样策略。本发明进一步设计了动静正则项,约束动态的像素组合权重与静态的像素组合权重之间的差异,控制可学习参数的自由度,更好地组合动静采样,减少传统单一静态采样过程中信息损失。
-
公开(公告)号:CN119299671A
公开(公告)日:2025-01-10
申请号:CN202411815010.0
申请日:2024-12-11
Applicant: 华侨大学
IPC: H04N19/103 , H04N19/96 , H04N19/119 , H04N19/126 , H04N19/127 , G06N3/0455 , G06N3/0464 , G06N3/08
Abstract: 本发明公开了一种基于多阶段不规则编码单元划分的VVC‑SCC帧内编码方法及装置,涉及视频编码领域,包括:设计并训练基于多阶段卷积神经网络的编码单元划分预测模型;其次将输入的视频帧通过经训练的编码单元划分预测模型进行编码单元划分预测模型预测,输出当前帧所有CU的模式类型的预测概率;最后为不同的模式类别设置不同的阈值,根据预测概率和对应的阈值指导VVC‑SCC编码器进行编码,从而跳过不必要的模式类别的遍历。本发明解决现有的VVC‑SCC帧内编码方法编码时间长、编码器计算的复杂度高的问题。
-
公开(公告)号:CN119180753A
公开(公告)日:2024-12-24
申请号:CN202411681831.X
申请日:2024-11-22
Applicant: 华侨大学
IPC: G06T3/4053 , G06N3/045 , G06N3/0464 , G06T3/4046
Abstract: 本发明涉及图像超分辨率技术领域,公开了一种特征强化的跨窗口轻量级超分辨率方法、系统及电子设备,方法包括以下步骤:构建基于Token字典交叉的自注意力机制,并引入Token分组机制,组成基于Token分组的字典交叉自注意力模块,即TDAB模块;基于TDAB模块构建特征强化的跨窗口轻量级超分辨率网络;使用所述特征强化的跨窗口轻量级超分辨率网络对待重建的低分辨率图像进行重建,得到重建结果。本方法在经典超分辨率方法的基础上引入基于Token字典交叉的自注意力机制、基于Token分组的混合注意力模块,在使模型更轻量化的同时增强了模型对于跨越窗口依赖的捕获能力以及对于纹理细节特征的重建效果。
-
公开(公告)号:CN119152215A
公开(公告)日:2024-12-17
申请号:CN202411667235.6
申请日:2024-11-21
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于梯度显著性感知的皱纹分割方法、装置及可读介质,涉及图像处理领域,包括:构建人脸皱纹数据集和人脸皱纹分割网络;将人脸皱纹数据集中的原始人脸图像输入到人脸皱纹分割网络,得到对应的皱纹分割预测图,计算原始人脸图像中的每个像素点的显著性,进一步计算得到原始人脸图像中的每个像素点的权重,基于原始人脸图像中的每个像素点的像素值及其权重和原始人脸图像对应的皱纹标注掩码图中的相应像素点的像素值构建梯度显著性加权损失函数,基于梯度显著性加权损失函数对人脸皱纹分割网络进行训练,得到经训练的人脸皱纹分割网络。本发明解决现有技术的人脸图像中皱纹被过度分割或错误分割的问题。
-
公开(公告)号:CN118506168B
公开(公告)日:2024-10-15
申请号:CN202410954584.X
申请日:2024-07-17
Applicant: 华侨大学 , 杭州电子科技大学 , 厦门亿联网络技术股份有限公司
IPC: G06V10/98 , G06N3/045 , G06N3/0464 , G06T7/13 , G06V10/40 , G06V10/54 , G06V10/776 , G06V10/80 , G06V10/82 , G06V20/40
Abstract: 本发明公开一种基于多重特征网络的沉浸式视频质量评价方法及装置,涉及图像处理领域,包括:在沉浸式视频质量评价模型中,通过视频预处理网络对待评价的沉浸式视频包含的多个视点的纹理视频和深度视频进行视点筛选,得到筛选后视点的纹理视频和深度视频,通过时空特征提取网络对筛选后视点的纹理视频和深度视频进行特征提取并计算得到对应视点的纹理视频的质量分数和深度视频的质量分数;通过权重计算网络计算得到筛选后视点的时空轨迹权重,将筛选后视点的时空轨迹权重与对应视点的纹理视频的质量分数和深度视频的质量分数输入质量分数计算模块计算得到沉浸式视频的质量分数。本发明解决现有沉浸式视频质量评价算法效果较差的问题。
-
公开(公告)号:CN118609034A
公开(公告)日:2024-09-06
申请号:CN202411080625.3
申请日:2024-08-08
Applicant: 华侨大学 , 厦门松霖科技股份有限公司
Abstract: 本发明公开了一种基于帧级时间聚合策略的沉浸式视频质量评价方法及装置,涉及视频处理领域,方法包括:通过帧抽样策略去除视频冗余信息,采用卷积网络对沉浸式视频(即多视点纹理加深度视频)不同区域进行多尺度特征提取;接着使用注意力模型对特征进行加权,通过帧级时间聚合策略自适应地筛选沿时间维度的质量分数;最终结合六自由度(Degree of Freedom,DoF)时空轨迹权重获取失真沉浸式视频质量分数。本发明具有较好的沉浸式视频质量评价效果,稳定性和鲁棒性高。
-
公开(公告)号:CN118552409A
公开(公告)日:2024-08-27
申请号:CN202411017310.4
申请日:2024-07-29
Applicant: 华侨大学 , 信泰(福建)科技有限公司 , 福建省万物智联科技有限公司
IPC: G06T3/4053 , G06N3/0455 , G06N3/08 , G06T5/60
Abstract: 本发明公开了一种基于小波变换和Transformer的轻量级图像超分辨率方法及装置,涉及图像处理领域,包括:将待重建的低分辨率图像和上采样因子输入经训练的图像超分辨率模型,待重建的低分辨率图像输入第一卷积层,得到第一卷积层的输出特征并输入第一个基于小波变换的Transformer模块,经过若干个基于小波变换的Transformer模块的特征提取,将最后一个基于小波变换的Transformer模块的输出特征与第一卷积层的输出特征相加,得到第二相加结果,第二相加结果依次经过亚像素卷积层和第二卷积层,得到高分辨率重建图像,其中亚像素卷积层的尺度因子为上采样因子。本发明可解决现有Transformer方法计算复杂度过高的问题。
-
公开(公告)号:CN114743128B
公开(公告)日:2024-08-09
申请号:CN202210225924.6
申请日:2022-03-09
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V20/40 , G06V10/30 , G06N3/0464 , G06N3/08 , G06V10/774
Abstract: 本发明公开了一种基于异种神经网络的多模态东北虎再辨识方法及装置,涉及机器视觉技术领域,可应用于跟踪东北虎的活动轨迹调查,对保护濒危的东北虎具有重大意义。本发明的异种神经网络包括用双分支残差神经网络和Transformer网络,其中,双分支残差卷积神经网络用于先对红外图像和可见光图像学习局部特征;Transformer网络对由双分支残差卷积神经网络学得的红外图像和可见光图像的局部特征,利用自注意力机制学习东北虎的全局特征。双分支残差卷积神经网络的各分支结构相同但参数独立,用于处理红外和可见光东北虎图像光谱、分辨率、对比度等特性;而Transformer网络从全局视角学习信息东北虎特征,减少图像模态差异带来的噪声影响,实现高准确率的东北虎再辨识。
-
-
-
-
-
-
-
-
-