公开(公告)号：CN114842398B

公开(公告)日：2024-12-17

申请号：CN202210563048.8

申请日：2022-05-23

Applicant: 北京邮电大学

Inventor： 肖波 ,  王博 ,  赵凯莉

IPC: G06V20/40

Abstract: 本发明公开了一种基于零样本学习的视频动作识别方法，提出了一个新的实例级别的视频属性作为语义特征，该语义特征利用了视频的空间信息与时序信息，能够为视频提供更加精确的语义描述，从而更好地连接可见类别与不可见类别，在不可见类别上能够取得更高的识别准确率。同时，为了更好地优化视觉‑语义联合空间，本发明设计了一个新的对比损失函数——视觉‑实例级别的视频属性对比损失函数。该对比损失函数既考虑了不同视频个体视觉表征与语义表征之间的关系，又考虑了不同类别视频视觉表征之间的关系，使得视觉‑语义联合空间具有更好的对齐性与均匀性，这两个特性使得训练好的模型在不可见类别上的性能更优。

公开(公告)号：CN114842398A

公开(公告)日：2022-08-02

申请号：CN202210563048.8

申请日：2022-05-23

Applicant: 北京邮电大学

Inventor： 肖波 ,  王博 ,  赵凯莉

IPC: G06V20/40

Abstract: 本发明公开了一种基于零样本学习的视频动作识别方法，提出了一个新的实例级别的视频属性作为语义特征，该语义特征利用了视频的空间信息与时序信息，能够为视频提供更加精确的语义描述，从而更好地连接可见类别与不可见类别，在不可见类别上能够取得更高的识别准确率。同时，为了更好地优化视觉‑语义联合空间，本发明设计了一个新的对比损失函数——视觉‑实例级别的视频属性对比损失函数。该对比损失函数既考虑了不同视频个体视觉表征与语义表征之间的关系，又考虑了不同类别视频视觉表征之间的关系，使得视觉‑语义联合空间具有更好的对齐性与均匀性，这两个特性使得训练好的模型在不可见类别上的性能更优。