公开(公告)号：CN112183391A

公开(公告)日：2021-01-05

申请号：CN202011059356.4

申请日：2020-09-30

Applicant: 中国科学院计算技术研究所

Inventor： 蒋树强 ,  张天予 ,  闵巍庆

IPC: G06K9/00 ,  G06K9/62 ,  G06F40/216 ,  G06F40/284 ,  G06N3/04 ,  G06N5/04

Abstract: 本发明一种第一视角视频行为预测系统，用于根据已有的视频进行行为预测，所述系统包括：视觉特征提取模块，用于提取已有视频中的视觉特征；基于直觉的预测模块，用于根据视觉特征提取模块提取到的视觉特征进行基于直觉的预测，得到第一预测结果；基于分析推理的预测模块，用于根据视觉特征提取模块提取到的视觉特征进行基于分析推理的预测，得到第二预测结果；自适应融合模块，用于采用注意力机制将将第一预测结果和第二预测结果进行有机融合，得到最终的行为预测结果。本发明将基于直觉的和基于分析推理的预测进行有机的结合，有效的缓解了“视觉鸿沟“问题，能更直接的从人类心理角度出发，更准确的预测其下一步动作，准确率更高，为实际工程应用提供更全面的支撑。

公开(公告)号：CN115359395A

公开(公告)日：2022-11-18

申请号：CN202210985312.7

申请日：2022-08-17

Applicant: 中国科学院计算技术研究所

Inventor： 蒋树强 ,  张天予 ,  闵巍庆

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06V10/74 ,  G06V10/82

Abstract: 本发明提供一种基于反事实分析的第一视角视频行为预测模型训练方法，采用第一视角视频训练集对预测模型进行多轮迭代训练直至收敛，其中，每轮训练包括：分别提取每个样本的视觉特征和语义特征；分别对视觉特征和语义特征进行编解码处理得到视觉特征对应的下一时刻的高维特征向量和语义特征对应的下一时刻的高维特征向量；基于高维特征向量分别获得下一时刻的反事实预测向量和事实预测向量；从每个样本对应的事实预测向量中按照相似度抠除反事实预测向量得到下一时刻的最终行为预测向量；每个样本的下一时刻的行为对应的最终预测向量与对应下一时刻的行为标签对应的向量之间的交叉熵损失更新预测模型的参数。

公开(公告)号：CN116434108A

公开(公告)日：2023-07-14

申请号：CN202310232698.9

申请日：2023-03-06

Applicant: 中国科学院计算技术研究所

Inventor： 蒋树强 ,  张天予 ,  闵巍庆

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/74 ,  G06V10/764 ,  G06V20/56

Abstract: 本发明提出一种基于循环一致性的第一视角视频行为预测方法和系统，通过在高维特征空间构建过去信息蒸馏损失函数、未来信息蒸馏损失函数、后向‑前向循环一致性损失函数以及前向‑后向循环一致性损失函数，充分学习过去内容和当前观察内容、当前观察内容和未来内容之间的时序上下文关系。在测试时，我们只根据观察内容去预测未来的行为，通过隐式地扩展可观察的时序范围，在一定程度上能够克服难以获取长距离时序信息的客观条件限制，进而利用更多的信息辅助进行行为预测。