-
公开(公告)号:CN117315430B
公开(公告)日:2024-03-12
申请号:CN202311595144.1
申请日:2023-11-28
Applicant: 华侨大学
IPC: G06V10/80 , G06V10/764 , G06V10/82
Abstract: 本发明一种面向大范围车辆再辨识的不完备模态特征融合方法,涉及图像处理技术领域,包括:训练包括三通道模型和单通道模型的双模态模型,对可见光车辆图像,采用三通道模型提取主特征,辅以图像灰度化,采用单通道模型提取辅助特征;对红外光车辆图像,采用单通道模型提取主特征,辅以通道复制扩展,采用三通道模型提取辅助特征;将主特征和辅特征叠加获得完整特征,利用KL散度优化完整、主、辅特征三者之间后验概率分布差异,优化特征融合效果。本发明能解决在长时间大范围的监控场景中车辆因活动轨迹复杂多变出现的模态不完备问题,即可见光和红外车辆图像不完备而无法直接实现可见光和红外图像的特征融合问题,提升车辆再辨识准确性。
-
公开(公告)号:CN117315516B
公开(公告)日:2024-02-27
申请号:CN202311616489.0
申请日:2023-11-30
Applicant: 华侨大学
IPC: G06V20/17 , G06N3/042 , G06N3/045 , G06N3/08 , G06T7/00 , G06V10/74 , G06V10/764 , G06V10/80 , G06V10/82
Abstract: 本发明公开了一种基于多尺度注意力相似化蒸馏的无人机检测方法及装置,涉及目标检测领域,包括:构建多尺度注意力图生成模块、教师网络及待训练的学生网络,通过多尺度注意力图生成模块分别将教师网络和学生网络的中间层特征映射转换为教师空间注意力信息和学生空间注意力信息,并建立注意力信息相似度优化损失函数,将注意力信息相似度优化损失函数与全局性的后验概率蒸馏函数以及学生网络的无人机目标分类损失函数和目标框回归损失函数结合以建立总损失函数,基于总损失函数对待训练的学生网络进行训练,得到经训练的学生网络;将图像输入经训练的学生网络,得到无人机检测结果,解决现有技术无人机检测准确率低、实时性差的问题。
-
公开(公告)号:CN117274253B
公开(公告)日:2024-02-27
申请号:CN202311546437.0
申请日:2023-11-20
Applicant: 华侨大学
IPC: G06T7/00 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于多模态Transformer的零配件检测方法、装置及可读介质,涉及图像处理领域,包括:获取零配件的重量以及不同角度零配件图像叠加得到输入图像;构建零配件检测模型并训练,得到经训练的零配件检测模型,将输入图像和重量输入经训练的零配件检测模型,得到特征向量;建立包含已知型号的零配件的特征向量的零配件特征向量数据库;将待检测的零配件的输入图像和重量输入经训练的零配件检测模型,得到待检测的零配件的特征向量,将待检测的零配件的特征向量与零配件特征向量数据库中的特征向量进行比对,检测得到待检测的零配件的型号,解决传统的图像检测方法使用单一类型的数据对零配件型号检测的准确性差等问题。
-
公开(公告)号:CN117237259B
公开(公告)日:2024-02-27
申请号:CN202311510614.X
申请日:2023-11-14
Applicant: 华侨大学
Abstract: 本发明公开了一种基于多模态融合的压缩视频质量增强方法及装置,涉及图像处理领域,该方法包括:获取图像帧及其对应的光流图和纹理图并分别进行特征提取,得到图像特征、光流特征和纹理特征;构建压缩视频质量增强模型并训练,得到经训练的压缩视频质量增强模型;将图像特征、光流特征和纹理特征输入经训练的压缩视频质量增强模型,图像特征、光流特征和纹理特征输入多模态一致性单元,自适应调整三种模态信息的分布,得到第一特征、第二特征和第三特征并输入多模态融合单元以进行特征融合,得到融合特征并输入多模态重构单元,得到重构信息,将重构信息与图像帧相加,得到增强的视频帧,解决单模态图像难以有效改善最终重建视频的质量的问题。
-
公开(公告)号:CN117456560A
公开(公告)日:2024-01-26
申请号:CN202311775203.3
申请日:2023-12-22
Applicant: 华侨大学
IPC: G06V40/10 , G06V10/26 , G06V10/44 , G06V10/771 , G06V10/82
Abstract: 本发明公开了一种基于前景感知动态部件学习的行人再辨识方法,涉及人工智能、机器视觉领域,包括:将浅层特征映射解码为前景能量图,利用交叉熵优化前景能量图,使其趋于真实前景标签,再将前景能量图空间划分为若干部件能量块,用各个部件能量块代表相应的浅层特征映射块的当前重要性;结合当前重要性和历史重要性对各浅层特征映射块进行综合重要性计算并排序,根据综合重要性排序优先选择高综合重要性的浅层特征映射块参与行人再辨识模型训练,从而减少来自背景区域的低综合重要性的浅层特征映射块参与行人再辨识模型训练的机会,达到抑制背景区域对行人辨识的干扰,提升行人再辨识准确性,可广泛应用于智慧城市场景中的城市安防系统。
-
公开(公告)号:CN117456480A
公开(公告)日:2024-01-26
申请号:CN202311769679.6
申请日:2023-12-21
Applicant: 华侨大学 , 星宸科技股份有限公司
IPC: G06V20/54 , G06V10/74 , G06V10/82 , G06N3/0464 , G06N3/09
Abstract: 本发明公开了一种基于多源信息融合的轻量化车辆再辨识方法,涉及计算机视觉与机器学习技术领域,包括:构建神经网络;所述神经网络包括依次连接的ResNet50网络、局部特征融合网络和混合注意力模块;使用监督对比损失和多源信息识别损失对神经网络进行联合训练,直至收敛,得到教师网络;选取计算量和参数量比教师网络均小的模型作为学生网络;通过知识蒸馏,对学生网络进行监督,训练直至收敛,得到轻量化的车辆再辨识模型;基于轻量化的车辆再辨识模型,输出再辨识结果。本发明利用多源信息融合的方式协调不同传感器数据以提高再辨识性能,并辅以知识蒸馏,实现在有限的计算资源下,实现高质量的再辨识,从而为各种应用场景提供了更多的灵活性。
-
公开(公告)号:CN117440158A
公开(公告)日:2024-01-23
申请号:CN202311759886.3
申请日:2023-12-20
Applicant: 华侨大学
IPC: H04N19/147 , H04N19/154
Abstract: 本发明公开了一种基于三维几何失真的MIV沉浸式视频编码率失真优化方法,涉及视频编码领域,包括:S1,基于MIV编码平台编码沉浸式视频序列,生成图集后,计算与深度映射范围系数;S2,使用支持MIV标准的二维视频编码器编码沉浸式视频几何图集时,构建三维几何失真与均方误差的关系模型;S3,根据三维几何失真与均方误差的关系模型,计算三维几何失真系数;S4,根据三维几何失真系数,计算率失真优化模型中新的拉格朗日乘子,基于调整后的率失真优化模型编码当前CTU,以改善沉浸式视频渲染质量的率失真性能。本发明最终渲染的沉浸式视频质量与码率的率失真性能更好。
-
公开(公告)号:CN117294894A
公开(公告)日:2023-12-26
申请号:CN202311150398.2
申请日:2023-09-07
Applicant: 华侨大学
Abstract: 本发明提供一种视频目标编辑方法、终端设备及存储介质,方法包括:获取视频信息、目标编辑操作、目标编号和视频目标参数;使用视频实例分割算法对视频中的帧图像进行目标分割,得到目标的像素级信息;输出对应操作和编号的相应图片列表,根据目标编辑操作,输出原帧列表、目标二值掩码列表、平移目标帧列表、平移目标二值掩码列表、缩放目标帧列表或缩放目标二值掩码列表;使用视频图像修复算法对视频画面进行修复,根据目标编辑操作,输出删除修复视频、平移修复视频列表或缩放修复视频。本发明能够更方便、高效及精确地实现视频目标编辑。
-
公开(公告)号:CN117274253A
公开(公告)日:2023-12-22
申请号:CN202311546437.0
申请日:2023-11-20
Applicant: 华侨大学
IPC: G06T7/00 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/80
Abstract: 本发明公开了一种基于多模态Transformer的零配件检测方法、装置及可读介质,涉及图像处理领域,包括:获取零配件的重量以及不同角度零配件图像叠加得到输入图像;构建零配件检测模型并训练,得到经训练的零配件检测模型,将输入图像和重量输入经训练的零配件检测模型,得到特征向量;建立包含已知型号的零配件的特征向量的零配件特征向量数据库;将待检测的零配件的输入图像和重量输入经训练的零配件检测模型,得到待检测的零配件的特征向量,将待检测的零配件的特征向量与零配件特征向量数据库中的特征向量进行比对,检测得到待检测的零配件的型号,解决传统的图像检测方法使用单一类型的数据对零配件型号检测的准确性差等问题。
-
公开(公告)号:CN116739903A
公开(公告)日:2023-09-12
申请号:CN202310793797.4
申请日:2023-06-30
Applicant: 华侨大学
IPC: G06T3/40 , G06V10/764 , G06V10/42 , G06V10/774
Abstract: 本发明公开了一种结合分类加强与细化微调的目标跟踪方法、装置及可读介质,构建目标跟踪网络模型并训练,得到经训练的目标跟踪网络模型,将当前帧输入ResNet模块,将ResNet模块的输出特征输入全局感知模块,得到全局感知特征,将全局感知特征与模板帧输入分类加强模块,得到前景特征图和前景概率特征图;在第一分支中,将降维后的全局感知特征与模板帧输入判别相关滤波器,得到定位特征图;在第二分支中,将前景特征图、前景概率特征图和定位特征图融合得到混合特征图,将混合特征图与ResNet模块的部分输出特征输入微调路径模块,得到目标的掩膜,通过拟合掩膜,得到矩形框,细化微调模块根据矩形框提取目标的特征,并与模板帧做逐像素相关,得到目标跟踪框。
-
-
-
-
-
-
-
-
-