基于Transformer的多视角3D姿态估计系统

    公开(公告)号:CN114821099B

    公开(公告)日:2025-04-22

    申请号:CN202210370621.3

    申请日:2022-04-10

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息;多视角Transformer特征交换模块,将不同视角的时空域特征信息两两交换,然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系,在不同视角间充分进行特征交换和传输,提高了3D姿态估计结果的准确度。

    一种基于图注意力时空卷积的3D姿态估计方法

    公开(公告)号:CN113538581B

    公开(公告)日:2024-03-12

    申请号:CN202110811915.0

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于图注意力时空卷积的3D姿态估计方法。该3D姿态估计方法基于按照处理流程先后顺序分为前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块、后处理模块4部分的系统完成。前处理模块初步提取时域信息,然后通过切割图注意力时空卷积模块、补全图注意力时空卷积模块进一步提取时空域信息。本发明能充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息,同时能建立骨架序列时域上的长时依赖,提高了3D姿态估计的精确度。并且不需要原始视频帧的信息,减少计算量。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

    一种基于参数硬共享的姿态估计与人体解析联合学习系统

    公开(公告)号:CN113537072B

    公开(公告)日:2024-03-12

    申请号:CN202110811913.1

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于参数硬共享的姿态估计与人体解析联合学习系统。该系统分为多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分。输入图像首先经过多尺度特征提取模块得到不同尺度下的图像特征,并进行跨尺度的特征融合;再将各尺度的特征分别送入联合学习模块,得到姿态估计与人体解析的联合特征;最后将姿态估计与人体解析的联合特征分别送入姿态估计分支和人体解析分支中得到姿态估计与人体解析的结果。本发明提出了用于姿态估计与人体解析的多任务联合学习系统。本发明所提系统在姿态估计与人体解析任务上的表现优秀。

    一种基于参数硬共享的姿态估计与人体解析联合学习系统

    公开(公告)号:CN113537072A

    公开(公告)日:2021-10-22

    申请号:CN202110811913.1

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于参数硬共享的姿态估计与人体解析联合学习系统。该系统分为多尺度特征提取模块、联合学习模块、人体解析分支和姿态估计分支四个部分。输入图像首先经过多尺度特征提取模块得到不同尺度下的图像特征,并进行跨尺度的特征融合;再将各尺度的特征分别送入联合学习模块,得到姿态估计与人体解析的联合特征;最后将姿态估计与人体解析的联合特征分别送入姿态估计分支和人体解析分支中得到姿态估计与人体解析的结果。本发明提出了用于姿态估计与人体解析的多任务联合学习系统。本发明所提系统在姿态估计与人体解析任务上的表现优秀。

    基于Transformer的多视角3D姿态估计系统

    公开(公告)号:CN114821099A

    公开(公告)日:2022-07-29

    申请号:CN202210370621.3

    申请日:2022-04-10

    Abstract: 本发明属于计算机视觉领域,具体涉及一种基于Transformer的多视角3D姿态估计系统。该系统按照处理流程先后顺序分为单视角时空Transformer特征提取模块和多视角Transformer特征交换模块两个部分。单视角时空Transformer特征提取模块对输入的多视角姿态序列提取不同视角的时空域特征信息;多视角Transformer特征交换模块,将不同视角的时空域特征信息两两交换,然后经过回归头输出最终的3D姿态估计结果。本发明能充分利用姿态序列间的时间上下文和空间关系,在不同视角间充分进行特征交换和传输,提高了3D姿态估计结果的准确度。

    一种基于图注意力时空卷积的3D姿态估计方法

    公开(公告)号:CN113538581A

    公开(公告)日:2021-10-22

    申请号:CN202110811915.0

    申请日:2021-07-19

    Abstract: 本发明属于计算机视觉技术领域,具体为一种基于图注意力时空卷积的3D姿态估计方法。该3D姿态估计方法基于按照处理流程先后顺序分为前处理模块、切割图注意力时空卷积模块、补全图注意力时空卷积模块、后处理模块4部分的系统完成。前处理模块初步提取时域信息,然后通过切割图注意力时空卷积模块、补全图注意力时空卷积模块进一步提取时空域信息。本发明能充分利用人体骨架在空间上的约束信息抽取骨架序列空域信息,同时能建立骨架序列时域上的长时依赖,提高了3D姿态估计的精确度。并且不需要原始视频帧的信息,减少计算量。本发明所提框架在3D姿态估计任务上的表现优于现有方法。

    一种保守渐进的领域自适应图像分类方法和装置

    公开(公告)号:CN117132841B

    公开(公告)日:2024-03-29

    申请号:CN202311397430.7

    申请日:2023-10-26

    Abstract: 本发明公开了一种保守渐进的领域自适应图像分类方法和装置,包括:获取带有标签的源域图像、来自于目标域支持集的无标签的第一目标域图像、以及来自于目标域查询集的无标签的第二目标域图像;基于源域图像和第一目标域图像进行内循环更新分类器参数;基于源域图像和第二目标域图像进行外循环更新特征提取器参数;提取参数更新后的特征提取器和分类器组成图像分类模型,利用图像分类模型进行图像分类。这样在内循环中引入重放机制对分类器进行训练,在外循环中引入稀疏注意力机制对特征提取器进行训练,这样联合内外循环更新,延缓图像分类模型在不断进化的目标域中不断遗忘的情况,提升了特征提取器的提取准确性和分类器的分类准确性。

    一种基于模型迁移性评估的任务执行方法、装置及设备

    公开(公告)号:CN117407690B

    公开(公告)日:2024-03-22

    申请号:CN202311722260.5

    申请日:2023-12-14

    Inventor: 程乐超

    Abstract: 本说明书公开了一种基于模型迁移性评估的任务执行方法、装置及设备。所述方法包括:接收针对待评估模型的迁移性能的评估指令,并确定待评估模型对应的初始参数;获取目标业务场景下的目标数据以及对待评估模型进行预训练时所使用的源样本数据;将目标数据以及源样本数据分别输入待评估模型,基于初始参数,根据目标数据确定待评估模型的特征提取网络对应的主梯度期望值,作为第一主梯度期望值,以及,根据源样本数据确定特征提取网络对应的主梯度期望值,作为第二主梯度期望值;根据第一主梯度期望值以及第二主梯度期望值,确定待评估模型对应迁移性能的评估值,并根据评估值执行任务。

    一种训练分类模型的方法、装置、存储介质及电子设备

    公开(公告)号:CN116363418A

    公开(公告)日:2023-06-30

    申请号:CN202310240413.6

    申请日:2023-03-06

    Abstract: 本说明书公开了一种训练分类模型的方法、装置、存储介质及电子设备。本方法通过确定各子网络层对应的输入维度中的无效维度,确定了对分类模型的输出结果无效的各子网络层对应的无效维度上各计算节点输出的结果,根据这些输出的结果确定第一损失,根据基于训练样本标注确定的第二损失以及该第一损失,确定总损失,以总损失最小训练分类模型,减少了各子网络层对应的无效维度上各计算节点输出的结果对分类模型的输出结果的影响,提高了分类模型的分类准确性。

Patent Agency Ranking