-
公开(公告)号:CN119479082B
公开(公告)日:2025-04-22
申请号:CN202510067424.8
申请日:2025-01-16
Applicant: 鹏城实验室
IPC: G06V40/20 , G06V20/50 , G06V20/40 , G06V10/30 , G06V10/62 , G06V10/764 , G06V10/774 , G06V10/77 , G06V10/75 , G06V10/82 , G06N3/0455 , G06N3/0895 , G06N3/047
Abstract: 本申请公开了小样本动作识别方法、电子设备及介质,方法包括:获取支持集视频、查询集视频以及类别标签模板;通过预设的多模态训练模型对支持集视频、查询集视频以及类别标签模板进行特征处理,得到第一视觉特征向量、类级别语义特征以及第二视觉特征向量;将上述三个数据输入代理语义扩散模块进行噪声扩散处理;对代理语义扩散模块输出的第一实例级代理语义、类级别语义特征以及第一视觉特征向量进行特征表示以构建类别原型,并对第二实例级代理语义进行特征融合,得到查询特征表示;对查询特征表示以及类别原型进行动作识别,以确定查询集视频中第二动作视频帧的动作种类。本发明实施例能够捕捉实例级别的语义细节,提高动作识别精度。
-
公开(公告)号:CN119479082A
公开(公告)日:2025-02-18
申请号:CN202510067424.8
申请日:2025-01-16
Applicant: 鹏城实验室
IPC: G06V40/20 , G06V20/50 , G06V20/40 , G06V10/30 , G06V10/62 , G06V10/764 , G06V10/774 , G06V10/77 , G06V10/75 , G06V10/82 , G06N3/0455 , G06N3/0895 , G06N3/047
Abstract: 本申请公开了小样本动作识别方法、电子设备及介质,方法包括:获取支持集视频、查询集视频以及类别标签模板;通过预设的多模态训练模型对支持集视频、查询集视频以及类别标签模板进行特征处理,得到第一视觉特征向量、类级别语义特征以及第二视觉特征向量;将上述三个数据输入代理语义扩散模块进行噪声扩散处理;对代理语义扩散模块输出的第一实例级代理语义、类级别语义特征以及第一视觉特征向量进行特征表示以构建类别原型,并对第二实例级代理语义进行特征融合,得到查询特征表示;对查询特征表示以及类别原型进行动作识别,以确定查询集视频中第二动作视频帧的动作种类。本发明实施例能够捕捉实例级别的语义细节,提高动作识别精度。
-
公开(公告)号:CN119420940A
公开(公告)日:2025-02-11
申请号:CN202510019861.2
申请日:2025-01-07
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种面向机器视觉的数据处理方法、装置、设备及介质,属于视觉数据处理技术领域。方法包括:将获取到的初始视觉信息输入训练好的端侧压缩模型中,通过多层次编码器对初始视觉信息进行不同类型的特征提取,得到各个层次下相应类型的编码特征;基于视觉码本对各编码特征分别进行矢量量化处理得到相应类型的压缩信息,以使边云侧系统在接收到的各类型下的压缩信息之后,通过多层次解码器对不同类型压缩信息表征的编码特征进行特征重构,得到各个层次下相应类型的解码特征,进而得到与初始视觉信息匹配的目标视觉信息。本申请能够提高视觉数据的传输效率。
-
公开(公告)号:CN119420940B
公开(公告)日:2025-04-08
申请号:CN202510019861.2
申请日:2025-01-07
Applicant: 鹏城实验室
Abstract: 本申请实施例提供了一种面向机器视觉的数据处理方法、装置、设备及介质,属于视觉数据处理技术领域。方法包括:将获取到的初始视觉信息输入训练好的端侧压缩模型中,通过多层次编码器对初始视觉信息进行不同类型的特征提取,得到各个层次下相应类型的编码特征;基于视觉码本对各编码特征分别进行矢量量化处理得到相应类型的压缩信息,以使边云侧系统在接收到的各类型下的压缩信息之后,通过多层次解码器对不同类型压缩信息表征的编码特征进行特征重构,得到各个层次下相应类型的解码特征,进而得到与初始视觉信息匹配的目标视觉信息。本申请能够提高视觉数据的传输效率。
-
公开(公告)号:CN118690201B
公开(公告)日:2024-11-12
申请号:CN202411155676.8
申请日:2024-08-22
Applicant: 鹏城实验室
IPC: G06F18/214 , G06F18/241 , G06F18/211 , G06F18/22
Abstract: 本申请提出了一种模型间的特征向后兼容学习方法,通过获取第一分类模型、第二分类模型以及训练数据集;基于第一分类模型以及第二分类模型计算每个子数据集对应的第一特征值以及第二特征值;对第一特征值进行扰动计算,得到对应的第三特征值;基于第二分类模型计算每个数据样本对应的目标特征向量,并根据目标特征向量与第一特征值之间构造负样本对,根据目标特征向量与第三特征值之间构造正样本对,计算得到第一损失函数;基于第二分类模型对训练数据集进行分类,根据第二分类模型的分类正确率计算得到第二分类模型的第二损失函数;基于第一损失函数以及第二损失函数更新第二分类模型的模型参数。该方法能够提高新模型的判别能力。
-
公开(公告)号:CN118690201A
公开(公告)日:2024-09-24
申请号:CN202411155676.8
申请日:2024-08-22
Applicant: 鹏城实验室
IPC: G06F18/214 , G06F18/241 , G06F18/211 , G06F18/22
Abstract: 本申请提出了一种模型间的特征向后兼容学习方法,通过获取第一分类模型、第二分类模型以及训练数据集;基于第一分类模型以及第二分类模型计算每个子数据集对应的第一特征值以及第二特征值;对第一特征值进行扰动计算,得到对应的第三特征值;基于第二分类模型计算每个数据样本对应的目标特征向量,并根据目标特征向量与第一特征值之间构造负样本对,根据目标特征向量与第三特征值之间构造正样本对,计算得到第一损失函数;基于第二分类模型对训练数据集进行分类,根据第二分类模型的分类正确率计算得到第二分类模型的第二损失函数;基于第一损失函数以及第二损失函数更新第二分类模型的模型参数。该方法能够提高新模型的判别能力。
-
-
-
-
-