基于云边搜索联邦深度学习方法的行人再辨识方法及系统

    公开(公告)号:CN117373066A

    公开(公告)日:2024-01-09

    申请号:CN202311667337.3

    申请日:2023-12-07

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于云边搜索联邦深度学习方法的行人再辨识方法及系统,涉及机器学习技术领域,方法包括以下步骤:S1,云端初始化全局深度网络模型,S2,云端将全局深度网络模型下发给边缘设备;S3,边缘设备利用个性化初始化函数构建总体优化目标函数,进行边缘深度网络模型训练;S4,云端对边缘深度网络模型权重参数进行加权平均聚合以更新云端全局深度网络模型;S5,重复S2至S4至最大次数,将最后一次生成的云端全局深度网络模型作为行人再辨识模型;S6,利用行人再辨识模型实现行人再辨识。本发明在保护数据隐私的前提下,让各个边缘设备根据本地数据特性个性化初始化自身网络,提升联邦学习中边缘深度网络和云端全局深度网络模型的性能。

    面向大范围车辆再辨识的不完备模态特征融合方法

    公开(公告)号:CN117315430A

    公开(公告)日:2023-12-29

    申请号:CN202311595144.1

    申请日:2023-11-28

    Applicant: 华侨大学

    Abstract: 本发明一种面向大范围车辆再辨识的不完备模态特征融合方法,涉及图像处理技术领域,包括:训练包括三通道模型和单通道模型的双模态模型,对可见光车辆图像,采用三通道模型提取主特征,辅以图像灰度化,采用单通道模型提取辅助特征;对红外光车辆图像,采用单通道模型提取主特征,辅以通道复制扩展,采用三通道模型提取辅助特征;将主特征和辅特征叠加获得完整特征,利用KL散度优化完整、主、辅特征三者之间后验概率分布差异,优化特征融合效果。本发明能解决在长时间大范围的监控场景中车辆因活动轨迹复杂多变出现的模态不完备问题,即可见光和红外车辆图像不完备而无法直接实现可见光和红外图像的特征融合问题,提升车辆再辨识准确性。

    全尺度特征细化轻量级图像超分辨率方法及装置

    公开(公告)号:CN117196960A

    公开(公告)日:2023-12-08

    申请号:CN202311475299.1

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种全尺度特征细化轻量级图像超分辨率方法及装置,涉及图像处理领域,该方法包括:构建全尺度特征细化轻量级图像超分辨率模型并训练,得到经训练的全尺度特征细化轻量级图像超分辨率模型,将低分辨率图像输入经训练的全尺度特征细化轻量级图像超分辨率模型,先经过第一卷积层得到第一特征图,第一特征图经过串联的K个特征蒸馏提取模块,每一个特征蒸馏提取模块的输出均传送至第二卷积层,并经过第三卷积层,得到第二特征图,第二特征图与第一特征图相加,得到最终特征图,最终特征图输入上采样模块,重建得到高分辨率图像,解决原有超分辨率模型提取的特征信息过于单一的问题,通过蒸馏剔除冗余特征,使模型更加轻量化。

    基于自注意力的红外图像超分辨率方法、装置及可读介质

    公开(公告)号:CN117196959A

    公开(公告)日:2023-12-08

    申请号:CN202311475294.9

    申请日:2023-11-08

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于自注意力的红外图像超分辨率方法、装置及可读介质,涉及图像处理领域,包括:构建基于自注意力的轻量级红外图像超分辨率模型并训练,得到经训练的轻量级红外图像超分辨率模型;将待重建的低分辨率红外图像输入经训练的轻量级红外图像超分辨率模型,该模型包括3×3卷积层、轻量级Transformer与CNN骨干、高效细节自注意力模块和图像重建模块,待重建的低分辨率红外图像输入3×3卷积层,得到第一特征,再依次经过轻量级Transformer与CNN骨干和高效细节自注意力模块,且高效细节自注意力模块以共享参数的方式循环n次,得到第二特征,将第一特征和第二特征进行残差连接后输入图像重建模块,输出高分辨率红外图像,解决参数量冗余、性能差等问题。

    基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置

    公开(公告)号:CN117173609A

    公开(公告)日:2023-12-05

    申请号:CN202311112440.1

    申请日:2023-08-31

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于多尺度特征和通道注意力的无参考屏幕视频质量评价方法及装置,该方法包括:获取视频中采用随机抽样方式抽取的视频帧;构建视频质量评价模型并进行训练,得到经训练的视频质量评价模型,视频质量评价模型包括依次连接的特征提取模块、通道注意力模块、视频时序特征提取模块和平均池化层,特征提取模块用于提取视频帧中的多尺度特征,通道注意力模块用于对多尺度特征进行特征加权,视频时序特征提取模块用于进行特征提取得到时空维度特征,并经过平均池化层计算视频对应的质量分数;将视频帧输入经训练的视频质量评价模型,得到视频的质量分数,具有较好的屏幕视频质量评价效果。

    基于深层交互注意力机制的目标跟踪方法、装置及可读介质

    公开(公告)号:CN117036416A

    公开(公告)日:2023-11-10

    申请号:CN202311082425.7

    申请日:2023-08-25

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于深层交互注意力机制的目标跟踪方法、装置及可读介质,该方法包括:获取视频序列,并分别从视频序列和第一帧中提取当前帧和模板帧;构建目标跟踪模型并训练,目标跟踪模型包括特征提取模块、Sim模块、判别定位模块和通道微调模块;将当前帧和模板帧输入经训练的目标跟踪模型,通过特征提取模块提取若干特征,将若干特征中的其中一个特征和模板帧输入Sim模块,得到前景特征图和前景概率特征图,将若干特征中的其中一个特征和模板帧输入判别定位模块,得到定位特征图,将前景特征图、前景概率特征图和定位特征图进行融合,得到混合特征图,将若干特征中的其余特征与混合特征图输入通道微调模块,得到目标跟踪结果,提高鲁棒性。

    一种多目标跟踪方法、终端设备及存储介质

    公开(公告)号:CN116452631A

    公开(公告)日:2023-07-18

    申请号:CN202310306107.8

    申请日:2023-03-27

    Applicant: 华侨大学

    Abstract: 本发明涉及一种多目标跟踪方法、终端设备及存储介质,该方法中包括:读取视频信息;对视频信息中的帧图像进行目标分割,得到目标的像素级信息和表观特征信息;基于卡尔曼滤波算法对各帧图像中的轨迹进行预测;基于前一帧图像中的轨迹和当前帧图像中目标的表观特征信息,计算两者之间的外观相似度,提取外观相似度大于相似度阈值的轨迹和目标作为预匹配轨迹和预匹配目标,将预匹配目标存入匹配目标集;计算预匹配轨迹与预匹配目标之间的代价矩阵,计算未匹配轨迹与未匹配目标之间的Mask‑IoU分数,将两者融合得到最终代价矩阵;通过匈牙利算法得到轨迹匹配结果。本发明相比于现有方法可以兼具效率与性能。

    基于3D-HEVC深度图模式预测的深度图编码方法、装置及可读介质

    公开(公告)号:CN116405683A

    公开(公告)日:2023-07-07

    申请号:CN202310449794.9

    申请日:2023-04-24

    Applicant: 华侨大学

    Abstract: 本发明公开了一种基于3D‑HEVC深度图模式预测的深度图编码方法、装置及可读介质,通过构建基于卷积网络的DMM模式预测模型并进行训练,得到经训练的DMM模式预测模型;将待编码深度图序列划分得到第一级别尺寸下的若干个当前待编码块,将当前待编码块输入经训练的DMM模式预测模型,输出的网络预测值为当前待编码块的编码过程中是否需要将DMM模式加入对应尺寸的全率失真代价计算列表的标签值;采用3D‑HEVC编码器对当前待编码块进行编码,在编码过程中调用网络预测值,并确定当前待编码块在对应尺寸下的最佳模式;以判断是否需要将DMM模式加入对应尺寸的全率失真代价计算列表,可避免直接将DMM模式加入全率失真代价计算列表,导致对DMM模式冗余的率失真计算过程。

Patent Agency Ranking