公开(公告)号：CN118411583A

公开(公告)日：2024-07-30

申请号：CN202410836696.5

申请日：2024-06-26

Applicant: 华侨大学

Inventor： 曾焕强 ,  柯雯瑶 ,  朱建清 ,  陈婧 ,  施一帆 ,  王天磊 ,  杨慰民 ,  夏至贤

IPC: G06V10/776 ,  G06N3/0464 ,  G06V10/54 ,  G06V10/74 ,  G06V10/80 ,  G06V10/82 ,  G06V20/40

Abstract: 本发明公开了一种基于多特征融合的沉浸式视频质量评价方法及装置，涉及视频处理领域，包括：对参考纹理视频序列和失真纹理视频序列采用3D‑LOG滤波器进行特征提取，得到参考纹理特征和失真纹理特征，并计算得到纹理特征相似度，基于纹理特征相似度通过3D‑LOG池化策略得到纹理视频质量分数；根据参考深度视频序列和失真深度视频序列计算得到参考深度特征和失真深度特征；根据参考深度特征和失真深度特征计算得到深度特征相似度并确定梯度权重，根据深度特征相似度和梯度权重计算得到深度视频质量分数；根据纹理视频质量分数和深度视频质量分数计算得到待评价的沉浸式视频的质量分数，解决现有视频评价算法不符合人眼视觉特性和沉浸式视频的特点的问题。

公开(公告)号：CN118101938B

公开(公告)日：2024-06-25

申请号：CN202410497734.9

申请日：2024-04-24

Applicant: 华侨大学

Inventor： 曾焕强 ,  芦晨鹏 ,  朱建清 ,  施一帆 ,  蔡磊 ,  陈婧 ,  夏至贤 ,  廖昀

IPC: H04N19/119 ,  H04N19/154

Abstract: 本发明公开了一种基于感兴趣区域的VVC码率控制方法及装置，涉及视频编码领域，方法包括：使用基于残差SSD网络训练的人脸检测模型检测图像中的人脸区域作为ROI；使用斯塔克尔伯格模型对ROI的失真进行建模，并采用二分法求解ROI的目标比特；计算编码图像的JND图作为空域视觉敏感度，对8x8互不重叠的子块进行运动估计，得到时域视觉敏感度；将有约束问题转化为无约束问题，并采用KKT条件进行最优化求解，得到最优拉格朗日乘子用于进行比特分配。本发明考虑视频会议、视频监控等应用对ROI的需求增长，人眼对ROI区域重点关注，提取空时域感知敏感度，对ROI和nROI的比特分配问题分别建模并进行最优化求解，合理进行比特分配。

公开(公告)号：CN113949872B

公开(公告)日：2024-06-25

申请号：CN202111320458.1

申请日：2021-11-09

Applicant: 华侨大学

Inventor： 陈婧 ,  陈淋淋 ,  曾焕强 ,  朱建清 ,  蔡灿辉

IPC: H04N19/147 ,  H04N19/70

Abstract: 本发明涉及一种基于3D‑Gradient引导的屏幕内容视频编码码率控制方法，属于视频编码领域。本方法采用3D‑Gradient滤波器同时提取屏幕内容视频序列空域和时域的边缘结构特征以及运动信息，将屏幕内容中空域和时域特征进行融合，获取最终的像素级复杂度因子。通过像素级复杂度因子计算CTU级复杂度因子CF进行CTU级的目标比特分配。利用当前编码帧的参考帧以及重建帧的相似度结合目标比特进行率失真模型的构建，实现目标比特，引导码率控制模型的生成。本发明提出的屏幕内容视频编码码率控制方法能够提高码率控制精度，明显改善重建视频序列的率失真性能，在一定程度上降低视频编码时间复杂度。

公开(公告)号：CN117456560B

公开(公告)日：2024-03-29

申请号：CN202311775203.3

申请日：2023-12-22

Applicant: 华侨大学

Inventor： 潘文杰 ,  朱建清 ,  曾焕强 ,  詹思敏 ,  陈婧 ,  蔡灿辉

IPC: G06V40/10 ,  G06V10/26 ,  G06V10/44 ,  G06V10/771 ,  G06V10/82

Abstract: 本发明公开了一种基于前景感知动态部件学习的行人再辨识方法，涉及人工智能、机器视觉领域，包括：将浅层特征映射解码为前景能量图，利用交叉熵优化前景能量图，使其趋于真实前景标签，再将前景能量图空间划分为若干部件能量块，用各个部件能量块代表相应的浅层特征映射块的当前重要性；结合当前重要性和历史重要性对各浅层特征映射块进行综合重要性计算并排序，根据综合重要性排序优先选择高综合重要性的浅层特征映射块参与行人再辨识模型训练，从而减少来自背景区域的低综合重要性的浅层特征映射块参与行人再辨识模型训练的机会，达到抑制背景区域对行人辨识的干扰，提升行人再辨识准确性，可广泛应用于智慧城市场景中的城市安防系统。

公开(公告)号：CN117196959B

公开(公告)日：2024-03-01

申请号：CN202311475294.9

申请日：2023-11-08

Applicant: 华侨大学

Inventor： 陈菲扬 ,  黄德天 ,  宋佳讯 ,  颜鹏贵 ,  杨坤 ,  曾焕强 ,  朱建清 ,  陈婧

IPC: G06T3/4053 ,  G06N3/0455 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于自注意力的红外图像超分辨率方法、装置及可读介质，涉及图像处理领域，包括：构建基于自注意力的轻量级红外图像超分辨率模型并训练，得到经训练的轻量级红外图像超分辨率模型；将待重建的低分辨率红外图像输入经训练的轻量级红外图像超分辨率模型，该模型包括3×3卷积层、轻量级Transformer与CNN骨干、高效细节自注意力模块和图像重建模块，待重建的低分辨率红外图像输入3×3卷积层，得到第一特征，再依次经过轻量级Transformer与CNN骨干和高效细节自注意力模块，且高效细节自注意力模块以共享参数的方式循环n次，得到第二特征，将第一特征和第二特征进行残差连接后输入图像重建模块，输出高分辨率红外图像，解决参数量冗余、性能差等问题。

公开(公告)号：CN116634147B

公开(公告)日：2023-10-31

申请号：CN202310911767.9

申请日：2023-07-25

Applicant: 华侨大学

Inventor： 陈婧 ,  李志鸿 ,  曾焕强 ,  林琦 ,  朱建清

IPC: H04N19/11 ,  H04N19/169 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80

Abstract: 本发明公开了一种基于多尺度特征融合的HEVC‑SCC帧内CU快速划分编码方法及装置，涉及视频编码领域，方法包括：首先搭建数据库，构建基于多尺度特征融合的卷积神经网络模型，并训练基于多尺度特征融合的卷积神经网络模型；其次将输入的CTU通过多尺度特征融合卷积神经网络，输出预测标签；最后为不同类型序列赋不同阈值，根据预测标签指导平台进行编码，从而跳过不必要的深度遍历。本发明提出的基于多尺度特征融合的HEVC‑SCC帧内CU快速划分编码方法，能够节省编码时间，明显降低屏幕内容视频的计算复杂度。

公开(公告)号：CN116778446A

公开(公告)日：2023-09-19

申请号：CN202310761995.2

申请日：2023-06-26

Applicant: 华侨大学

Inventor： 黄德天 ,  刘航 ,  宋佳讯 ,  曾焕强 ,  朱建清 ,  陈婧 ,  陈龙涛

IPC: G06V20/56 ,  G06N3/0464 ,  G06V10/82 ,  G06N3/048 ,  G06V10/22 ,  G06V10/764 ,  G06V10/26 ,  G06V10/74 ,  G06N3/08

Abstract: 本发明公开了一种车道线快速检测方法、装置及可读介质，获取路况图像；构建基于编码器‑解码器的神经网络并训练，得到车道线检测模型，基于编码器‑解码器的神经网络包括主干分支和辅助分支，主干分支包括依次连接的编码器网络、CBAM注意力机制模块和解码器网络，编码器网络中包括改进的残差结构，改进的残差结构包括第一卷积层以及分别与第一卷积层连接的第一分支和第二分支，第一分支包括第二卷积层，第二分支包括依次连接的第三卷积层和第四卷积层，第一分支、第二分支与第一卷积层的输入通过加法器相连，辅助分支为实例分割网络，并仅在训练过程中使用；将路况图像输入车道线检测模型，检测得到车道线图像，提高车道线检测的准确率和检测速度。

公开(公告)号：CN116757977A

公开(公告)日：2023-09-15

申请号：CN202310502926.X

申请日：2023-05-06

Applicant: 华侨大学

Inventor： 陈婧 ,  陈柯米 ,  曾焕强 ,  朱建清 ,  林琦

IPC: G06T5/50 ,  G06T7/246 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开了一种基于多尺度双向卷积的压缩视频感官质量增强方法及系统，包括：将输入的多个视频帧进行运动补偿，获得对齐后的特征；所述输入的多个视频帧包括参考帧和参考帧的前后若干相邻帧；提取对齐后的特征的时序信息，获得时空融合后的特征；提取时空融合后的特征的方向特征，获得水平特征和垂直特征；基于参考帧和相邻帧来指导水平特征和垂直特征的恢复，获得细节注意力机制处理后的特征；将通过细节注意力机制处理后的特征进行增强，获得增强后的方向特征；将增强后的方向特征与参考帧进行逐元素相加，得到增强帧。本发明能够提高重建视频帧的感官质量，恢复的重建帧更符合人类视觉系统，能够改善压缩带来的质量下降问题。

公开(公告)号：CN116740143A

公开(公告)日：2023-09-12

申请号：CN202310744027.0

申请日：2023-06-21

Applicant: 华侨大学

Inventor： 黄德天 ,  王振严 ,  徐正军 ,  曾焕强 ,  朱建清 ,  陈婧 ,  施一帆

IPC: G06T7/246 ,  G06T7/73 ,  G06V10/82 ,  G06V10/764 ,  G06V10/766 ,  G06V10/74

Abstract: 本发明提供一种联合轨迹损失和排名损失优化的鲁棒目标跟踪器，包括：步骤S1、用非权重共享的孪生骨干网络提取特征，得到模板特征图和历史特征图；步骤S2、利用模板特征图和历史特征图获得目标相似性响应图；步骤S3、利用轨迹损失学习使跟踪器学习目标的运动信息；步骤S4、利用IOU引导的排名损失优化跟踪器的分类子网络和回归子网络；步骤S5、联合轨迹损失和IOU引导的排名损失实现目标状态的估计。本发明能够提升孪生跟踪器的准确性和鲁棒性。

公开(公告)号：CN116668723A

公开(公告)日：2023-08-29

申请号：CN202310550087.9

申请日：2023-05-16

Applicant: 华侨大学

Inventor： 陈婧 ,  周廷开 ,  曾焕强 ,  朱建清 ,  施一帆 ,  林琦

IPC: H04N19/597 ,  H04N19/593 ,  H04N19/124 ,  H04N19/119 ,  H04N19/61 ,  G06T9/00 ,  G06N3/0464

Abstract: 本发明公开了一种基于卷积神经网络的3D‑HEVC深度图帧内编码单元划分方法及装置，通过构建编码单元划分预测模型并训练，采用3D‑HEVC编码器对当前待编码块进行编码，在编码过程中确定编码单元的当前尺寸和当前编码量化参数；根据编码单元的当前尺寸和/或当前编码量化参数确定在编码过程中采用速度模式或性能模式，在速度模式中，将预测值作为当前待编码块的划分结果；在性能模式中，使用3D‑HEVC编码器预测当前待编码块的划分结果；判断编码单元的当前尺寸是否大于第四尺寸，若是则调整当前待编码块的尺寸缩小一个级别，并重复以上步骤，直至得到当前待编码块的所有划分结果，本方法在保证一定编码质量的前提下，能够显著节省深度图编码所需时间。