一种基于策略梯度的目标跟踪方法与系统

    公开(公告)号:CN110428447A

    公开(公告)日:2019-11-08

    申请号:CN201910638477.5

    申请日:2019-07-15

    Abstract: 本发明公开一种基于策略梯度的目标跟踪方法与系统,属于计算机视觉领域。方法包括:(1)将目标图像输入到卷积神经网络中,得到目标外观模板Z;(2)将搜索图像输入到卷积神经网络中,等到搜索区域特征图;(3)将模板图像Z和搜索区域特征图通过相似度度量函数f计算得到响应图ht;(4)将(3)中得到的响应图ht和历史响应图hi输入到策略网络中,选择分数最高的那个动作加入到集合Ct(i=1~N);(5)重复(4)直到遍历响应图模板池中的每一个历史响应图;最后执行集合Ct(i=1~N)中出现次数最多的那个动作。所述系统包括跟踪器和决策器。避免了错误的模板更新,并在目标丢失的时候能够及时发现并重新找到目标。

    一种应用于图像去噪的多参数取值调优方法

    公开(公告)号:CN109035178A

    公开(公告)日:2018-12-18

    申请号:CN201811017139.1

    申请日:2018-08-31

    CPC classification number: G06T5/002

    Abstract: 本发明公开了一种应用于图像去噪的多参数取值调优方法,给定目标复杂度Cbudget,在保持其他参数取值不变的情况下,分别计算多个参数当前取值与其下一个候选值的能效比,确定能效比最大的参数,将其候选值调整为当前值,即完成一次参数调优;每完成一次参数调优,需计算当前参数组合复杂度,判断此时的参数组合复杂度是否符合目标复杂度约束,若不满足,执行前述步骤继续进行参数调优,直到满足给定复杂度约束,停止调整。

    结合注意力机制的立体图像舒适度预测方法

    公开(公告)号:CN115361557B

    公开(公告)日:2025-03-25

    申请号:CN202210992815.7

    申请日:2022-08-18

    Abstract: 本发明方法公开了结合注意力机制的立体图像舒适度预测方法。本发明方法首先通过对输入的左、右视点图像分别进行半重叠采样,得到多个图像块对作为模型输入,分别得到低、中、高级特征的相加特征图和相减特征图;然后分别将低、中、高级特征的相加和相减特征图拼接成新的特征块,输入并行双注意力模块进行注意力加权;将低、中、高级特征的通道和空间注意力加权特征拼接成新的特征块,并分别输入对应的次要子网络,最终得到三个次要子网络的输出特征向量,合并三个次要子网络的输出特征向量,并输入用于回归预测的全连接层网络进行舒适度回归预测。本发明方法不仅降低了流程复杂度,还规避了因视差计算不准确带来的影响。

    一种基于参数取值选择的视频结构化分析系统软硬协同优化方法

    公开(公告)号:CN119094810A

    公开(公告)日:2024-12-06

    申请号:CN202411075832.X

    申请日:2024-08-07

    Abstract: 本发明属于视频分析技术领域,公开了一种基于参数取值选择的视频结构化分析系统软硬协同优化方法,包括步骤1:多模块算法控制参数和实现参数集构建;基于业界主流的YOLO+byteTrack+ResNet+SIFT CDVS特征视频结构化分析系统框架,结合异构多计算平台的编码算法特点和流水约束,为各模块选择硬件实现友好的算法框架;步骤2:多模块耦合参数优化取值选择;根据流水吞吐约束,通过一定并发粒度和并发强度的控制参数配置,实现系统吞吐和硬件消耗的平衡。本发明支持六个算法模块联合优化,支持码率、计算复杂度、算法精度以及系统处理检索延时等目标性能联合优化;实现多个算法模块多目标性能联合优化。

    一种基于人体特征紧凑表示的视频压缩方法

    公开(公告)号:CN119011840A

    公开(公告)日:2024-11-22

    申请号:CN202410948218.3

    申请日:2024-07-16

    Abstract: 本发明属于视频编码领域,公开了一种基于人体特征紧凑表示的视频压缩方法,包括步骤1:构建人体视频压缩框架;使用人体骨架特征来表征运动,首先将提取出的骨架特征通过人体特征压缩算法压缩冗余,与参考帧一同传输到解码端;之后恢复成原骨架,与重构的参考帧一起输入到生成网络中生成预测帧;最后输入到残差优化模块中进一步提升质量;步骤2:设计人体特征压缩算法;步骤3:特征残差编码优化;首先通过特征提取器提取预测帧和原始帧的深度特征,之后计算深度特征之间的残差,输入到上下文编码器当中,在熵模型的优化下进一步降低比特率。本发明极大提高了人体骨架信息的压缩率;能够以较低的比特流生成主观与客观质量良好的重构人体视频。

    基于背景分离的RGB-D视频合成视点空洞掩盖方法

    公开(公告)号:CN115426535B

    公开(公告)日:2024-08-27

    申请号:CN202211065539.6

    申请日:2022-09-01

    Abstract: 本发明方法公开了基于背景分离的RGB‑D视频合成视点空洞掩盖方法。本发明方法以参考彩色图、参考深度图和相机信息为单位,利用加入并行注意力的P‑UNet网络分离彩色图前景、根据参考深度图前景与背景之间的像素突变分离前景,将两种方法的背景结合并使用高斯混合模型构建更干净的背景;使用基于深度和时间一致性的修复方法修复背景;然后根据3D变换公式和相机信息绘制出虚拟视点和虚拟背景,并再次修复虚拟背景;最后使用虚拟背景填充虚拟视点空洞中的缺失像素。本发明避免了修复时产生前景渗透,生成的空洞区域在相邻帧之间更有时间一致性,减少视频播放时的帧闪,提高了视觉质量。

    面向3D视频的时间空间双维度帧合成方法

    公开(公告)号:CN117880482A

    公开(公告)日:2024-04-12

    申请号:CN202311556130.9

    申请日:2023-11-21

    Abstract: 本发明公开了面向3D视频的时间空间双维度帧合成方法。本发明首先对输入视频中的每帧原始输入图像通过特征提取网络提取特征信息,生成多个不同尺度下的特征图;然后对输入视频在时间维度进行插帧操作,生成时间维度插帧图像,在视点维度进行插帧操作,生成视点维度合成图像;最后通过维度融合网络,将原始输入图像以及对应的特征图、生成的光流信息和掩膜、时间维度插帧图像和视点维度合成图像进行融合,生成同时考虑两个维度信息的高质量生成帧。本发明结合时间、视点双维度信息,生成高质量的中间合成帧,保证了整体网络的并行度,避免了使用不同网络时造成的时延不同步在降低计算冗余的情况下克服了深层网络丢失图像原始信息的问题。

    一种基于深度学习的立体图像舒适度预测方法

    公开(公告)号:CN116800949A

    公开(公告)日:2023-09-22

    申请号:CN202310631949.0

    申请日:2023-05-30

    Abstract: 本发明涉及立体图像舒适度技术领域,为解决评估立体图像感知不适度问题,本发明采用了一种基于深度学习的立体图像舒适度预测方法以预测立体图像舒适度的问题,其首先根据左右视点图像构建RGB独眼图,然后利用3D显著图裁剪得到RGB独眼图图像块,并将RGB独眼图图像块输入卷积神经网络,通过计算输出预测值均值得到立体图像舒适度最终预测值。本发明通过对红、绿和蓝三通道单独计算独眼图,保留了立体图像的彩色信息,并且基于显著性对立体图像进行图像裁剪,扩充了用于模型训练的样本,最大程度上保留了观看者最关注的图像区域。通过添加分组加权注意力模块对CSP‑Net模型进行了创造性改进优化,提高了计算效率。

    基于自适应采样与多尺度时序两阶段的全参考视频质量评价方法

    公开(公告)号:CN115239647A

    公开(公告)日:2022-10-25

    申请号:CN202210786730.3

    申请日:2022-07-06

    Abstract: 本发明属于图像及视频处理领域,公开了一种基于自适应采样与多尺度时序两阶段的全参考视频质量评价方法,包括如下步骤:步骤1:获取训练样本集Xtrain和测试样本集Xtest:步骤2:对训练集的每个视频Vd与Vr进行自适应采样:步骤3:构建多尺度时空域特征提取网络MTN:步骤4:构建基于多通道自注意力机制的质量决策模块:步骤5:对全参考视频质量评价模型MTN进行迭代训练:步骤6:获取全参考视频的质量评价结果。本发明方案能够测量原始视频和失真视频之间的感知差异,可用于视频压缩、传输和处理中的质量检测评估。

Patent Agency Ranking