-
公开(公告)号:CN117014610B
公开(公告)日:2023-12-29
申请号:CN202311280429.6
申请日:2023-10-07
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/103 , H04N19/96
Abstract: 本发明公开了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置,涉及视频编码领域,该方法包括:获取屏幕内容视频,将128×128大小的CTU直接划分为64×64大小的CU;构建多任务学习网络模型,多任务学习网络模型包括主干网络、第一子网络和第二子网络,主干网络用于提取CU特征,将CU特征输入第一子网络和第二子网络,得到CU划分类型和编码模式,可结合编码模式及其预测概率和临近CU的划分类型综合确定预测结果;将64×64大小的CU输入经训练的多任务学习网络模型,得到第一预测结果;若第一预测结果为划分,则进一步划分为4个32×32大小的CU,并输入经训练的多任
-
公开(公告)号:CN117036911A
公开(公告)日:2023-11-10
申请号:CN202311301590.7
申请日:2023-10-10
Applicant: 华侨大学 , 星宸科技股份有限公司 , 厦门瑞为信息技术有限公司
IPC: G06V10/82 , G06N3/0464 , G06N3/08 , G06V10/74
Abstract: 本发明公开了一种基于神经架构搜索的车辆再辨识轻量化方法及系统,涉及计算机视觉与机器学习技术领域,方法包括:S1,构建网络模型,给定硬件约束以生成对应的架构生成器,利用测试集训练架构生成器;S2,将硬件约束输入到架构生成器,得到多个轻量化神经网络架构模型;S3,采集车辆再辨识数据并进行数据增强;S4,利用车辆再辨识数据集对轻量化神经网络架构模型进行训练及验证,选择效果最好的作为轻量化车辆再辨识网络;S5,基于轻量化车辆再辨识网络进行车辆再辨识。本发明利用神经架构搜索自适应地依据硬件约束进行神经网络的搭建,得到兼具效率与性能的轻量化网络,可以在大规模的神经网络设计中减轻人工设计和调试的负担。
-
公开(公告)号:CN117014610A
公开(公告)日:2023-11-07
申请号:CN202311280429.6
申请日:2023-10-07
Applicant: 华侨大学
IPC: H04N19/119 , H04N19/103 , H04N19/96
Abstract: 本发明公开了一种基于多任务学习的H.266VVC屏幕内容帧内CU快速划分方法及装置,涉及视频编码领域,该方法包括:获取屏幕内容视频,将128×128大小的CTU直接划分为64×64大小的CU;构建多任务学习网络模型,多任务学习网络模型包括主干网络、第一子网络和第二子网络,主干网络用于提取CU特征,将CU特征输入第一子网络和第二子网络,得到CU划分类型和编码模式,可结合编码模式及其预测概率和临近CU的划分类型综合确定预测结果;将64×64大小的CU输入经训练的多任务学习网络模型,得到第一预测结果;若第一预测结果为划分,则进一步划分为4个32×32大小的CU,并输入经训练的多任务学习网络模型,得到第二预测结果,解决H.266VVC屏幕内容帧内编码复杂度高的问题。
-
公开(公告)号:CN116612445B
公开(公告)日:2023-10-31
申请号:CN202310891062.5
申请日:2023-07-20
Applicant: 华侨大学
IPC: G06V20/54 , G06V10/762 , G06V10/74 , G06V10/764 , G06V10/774 , G06V10/778 , G06V10/82 , G06N3/088
Abstract: 本发明公开了一种基于自适应聚类和困难样本加权的无监督车辆再辨识方法,首先,利用当前聚类参数计算最合适的半径值,提升聚类伪标签对车辆样本噪声的鲁棒性;其次,记忆模块记录所有车辆样本特征向量,利用距离作为车辆样本困难程度加权依据,改善模型对困难车辆样本关注力不足的问题;最后,利用加权困难车辆样本结合对比学习方法训练车辆再辨识模型。本发明可广泛应用于智慧交通和智慧安防中的智能视频监控系统。
-
公开(公告)号:CN116596764B
公开(公告)日:2023-10-31
申请号:CN202310871402.8
申请日:2023-07-17
Applicant: 华侨大学
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明涉及图像处理技术领域,公开了一种基于Transformer与卷积交互的轻量级图像超分辨率方法,包括以下步骤:S1,构建跨通道Transformer模块与高效局部特征提取模块;S2,构建反转U型网络模块;S3,构建全局特征提炼模块;S4,将反转U型网络模块与全局特征提炼模块组合起来,构建基于Transformer与卷积交互的轻量级超分辨率网络;网络输入低分辨率图像,输出高分辨率的重建图像。本发明使用较少参数与计算量,同时拥有更优的重建效果;通过Transformer与卷积的交互,兼顾图像的全局与局部细节;反转U型网络模块先在编码器阶段将关键信息转移至特征图维度上,再在解码器阶段将关键信息返回至通道维度中,以实现低资源耗费来融合多阶段信息的目的。
-
公开(公告)号:CN116740142A
公开(公告)日:2023-09-12
申请号:CN202310741844.0
申请日:2023-06-21
Applicant: 华侨大学
Abstract: 本发明公开了一种轨迹注意力目标跟踪方法、装置及可读介质,通过特征提取网络分别对历史帧及其前景‑背景掩膜图和查询帧进行特征提取,得到历史特征图、前景‑背景掩膜特征图和查询特征图;空间注意力模块用于结合历史特征图、前景‑背景掩膜特征图和查询特征图匹配目标特征,并利用目标聚焦策略建立空间依赖关系,得到附有空间权重的历史特征图,时序注意力模块用于对时序交互后的时序响应图进行时序信息交互,得到时序交互后的时序响应图,通道融合模块用于对时序交互后的时序响应图与查询特征图进行融合,得到目标响应图;将目标响应图输入头网络预测得到目标的位置和边界框。本发明可避免空间冗余信息的干扰,有效提升辨别能力。
-
公开(公告)号:CN116721091A
公开(公告)日:2023-09-08
申请号:CN202310744289.7
申请日:2023-06-21
Applicant: 华侨大学
Abstract: 本发明公开了一种布匹瑕疵检测方法、装置及可读介质,通过获取待检测的布匹图像和模板图像;构建改进的Yolov5s网络并训练,得到布匹瑕疵检测模型,改进的Yolov5s网络包括主干特征提取网络、颈部特征融合网络和头部预测网络,主干特征提取网络采用CSPDarkNet,颈部特征融合网络包括特征过滤金字塔网络和融合卷积块注意力模块的路径聚合网络,在训练过程中采用多类聚焦置信度损失函数代替交叉熵置信度损失函数;将待检测的布匹图像和模板图像输入布匹瑕疵检测模型,得到布匹检测结果。该方法关注实际布匹瑕疵检测中存在的瑕疵种类分布不均、不同瑕疵的检测难易程度不同等问题,通过对冗余背景特征的过滤与关键前景特征的提纯,降低网络复杂度,提高检测精度和效率。
-
公开(公告)号:CN116596764A
公开(公告)日:2023-08-15
申请号:CN202310871402.8
申请日:2023-07-17
Applicant: 华侨大学
IPC: G06T3/40 , G06N3/0455 , G06N3/0464 , G06N3/08 , G06V10/42 , G06V10/44
Abstract: 本发明涉及图像处理技术领域,公开了一种基于Transformer与卷积交互的轻量级图像超分辨率方法,包括以下步骤:S1,构建跨通道Transformer模块与高效局部特征提取模块;S2,构建反转U型网络模块;S3,构建全局特征提炼模块;S4,将反转U型网络模块与全局特征提炼模块组合起来,构建基于Transformer与卷积交互的轻量级超分辨率网络;网络输入低分辨率图像,输出高分辨率的重建图像。本发明使用较少参数与计算量,同时拥有更优的重建效果;通过Transformer与卷积的交互,兼顾图像的全局与局部细节;反转U型网络模块先在编码器阶段将关键信息转移至特征图维度上,再在解码器阶段将关键信息返回至通道维度中,以实现低资源耗费来融合多阶段信息的目的。
-
公开(公告)号:CN116416645A
公开(公告)日:2023-07-11
申请号:CN202310199941.1
申请日:2023-03-03
Applicant: 华侨大学 , 厦门亿联网络技术股份有限公司
IPC: G06V40/10 , G06V10/82 , G06N3/08 , G06V10/74 , G06N3/0464
Abstract: 本发明公开了一种基于双分支Transformer网络的属性与图像跨模态行人再辨识方法及装置,获取行人属性和行人图像,行人图像来自行人注册图像集;构建双分支Transformer网络,并对双分支Transformer网络训练,得到属性与图像跨模态行人再辨识模型,双分支Transformer网络包括同型的属性Transformer分支和图像Transformer分支;将行人属性和行人图像输入属性与图像跨模态行人再辨识模型,分别通过属性Transformer分支和图像Transformer分支提取得到属性特征和图像特征;将属性特征与图像特征进行相似度比对,得到行人属性对应的再辨识结果。属性Transformer分支和图像Transformer分支都属于同型的Transformer结构,有利于控制文本属性和行人图像在特征空间中的模态异质性问题,从而提升属性‑图像跨模态行人再辨识准确性。
-
公开(公告)号:CN110072113B
公开(公告)日:2023-03-10
申请号:CN201910414604.3
申请日:2019-05-17
Applicant: 华侨大学
IPC: H04N19/597 , H04N19/109 , H04N19/503 , H04N13/161
Abstract: 本发明涉及一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法,属于视频编码领域,本方法包括CU尺寸判决和模式快速选择。首先,提取当前CU划分或者不划分时,遍历完DIS模式的RDcost作为特征,通过离线训练高斯模型,并且计算损失函数,将后验概率与损失函数作比较,判断当前CU是否为最佳尺寸;其次,提取最优模式是否是SKIP或者DIS时,遍历完SKIP或者DIS的RDcost作为特征,引入全零块,通过最小错误贝叶斯判决,判断当前最优模式是否是SKIP或者DIS。本发明一种基于贝叶斯决策的3D‑HEVC深度图帧间快速算法能够减少编码器计算开销,在保持编码性能基本不变的情况下,减少编码时间。
-
-
-
-
-
-
-
-
-