公开(公告)号：CN108141645A

公开(公告)日：2018-06-08

申请号：CN201680061201.X

申请日：2016-10-13

Applicant: 微软技术许可有限责任公司

Inventor： 姚霆 ,  梅涛 ,  芮勇

IPC: H04N21/8549 ,  H04N21/4545 ,  H04N21/466

Abstract: 描述了使用成对深度排序神经网络训练的视频重点检测。在一些示例中，视频中的重点被发现，然后用于生成视频(例如第一人称视频)的总结。采用成对深度排序模型来学习在先前识别的重点和非重点视频片段之间的关系。这种关系被封装在神经网络中。示例性的双流过程为用户视频的每个片段生成重点分数。将获得的重点分数用于总结用户视频的重点。

公开(公告)号：CN109522902B

公开(公告)日：2023-07-07

申请号：CN201710841936.0

申请日：2017-09-18

Applicant: 微软技术许可有限责任公司

Inventor： 姚霆 ,  梅涛

IPC: G06V10/62 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/08

Abstract: 根据本公开的实现，提出了一种提取空‑时特征表示的方案。在该方案中，在学习网络的第一层处接收输入，该输入包括多个图像。利用第一层的第一单元在空间维度中从输入提取多个图像的第一特征，第一特征表征多个图像的空间呈现。基于第一单元与第一层中的第二单元之间的连接的类型，利用第二单元在时间维度中从第一特征和输入中的至少一个提取多个图像的第二特征，第二特征至少表征跨多个图像的时间变化。至少部分地基于第二特征来生成多个图像的空‑时特征表示。通过该方案，降低了学习网络的尺寸，提高了学习网络的训练和使用效率，同时还获得较准确的空‑时特征表示。

公开(公告)号：CN109522902A

公开(公告)日：2019-03-26

申请号：CN201710841936.0

申请日：2017-09-18

Applicant: 微软技术许可有限责任公司

Inventor： 姚霆 ,  梅涛

IPC: G06K9/46 ,  G06N3/04 ,  G06N3/08

Abstract: 根据本公开的实现，提出了一种提取空-时特征表示的方案。在该方案中，在学习网络的第一层处接收输入，该输入包括多个图像。利用第一层的第一单元在空间维度中从输入提取多个图像的第一特征，第一特征表征多个图像的空间呈现。基于第一单元与第一层中的第二单元之间的连接的类型，利用第二单元在时间维度中从第一特征和输入中的至少一个提取多个图像的第二特征，第二特征至少表征跨多个图像的时间变化。至少部分地基于第二特征来生成多个图像的空-时特征表示。通过该方案，降低了学习网络的尺寸，提高了学习网络的训练和使用效率，同时还获得较准确的空-时特征表示。