公开(公告)号：CN116524419B

公开(公告)日：2023-11-07

申请号：CN202310802044.5

申请日：2023-07-03

Applicant: 南京信息工程大学 ,  南京中网卫星通信股份有限公司

Inventor： 陈苏婷 ,  薄业雯 ,  胡斌武 ,  韩光勋 ,  裴加明 ,  杨宁 ,  孙俊 ,  高云勇 ,  夏芸

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/80 ,  G06N3/048

Abstract: 本发明公开了基于时空解耦与自注意力差分LSTM的视频预测方法、系统，该方法包括：引入对抗性损失约束和相似性约束构建时空解耦网络，获得视频的解耦特征；利用差分运算设计动态差分模型，替换传统LSTM单元的遗忘门；在注意力基础上设计一个门控机制，将长时记忆与被注意的特征深度融合，组建新的全局自注意力模型；结合动态差分模型和全局自注意力模型，组建DISA‑LSTM单元，并使用对角循环体系结构堆叠该单元，构建DISA‑LSTM预测网络；基于卷积自编码器搭建网络整体架构，并联合损失函数训练模型。本发明有效提高了网络捕获高维动态复杂特征的能力和视频预测的精确性，降低了高维视频数据给预测工作带来的复杂程度。

公开(公告)号：CN116524419A

公开(公告)日：2023-08-01

申请号：CN202310802044.5

申请日：2023-07-03

Applicant: 南京信息工程大学 ,  南京中网卫星通信股份有限公司

Inventor： 陈苏婷 ,  薄业雯 ,  胡斌武 ,  韩光勋 ,  裴加明 ,  杨宁 ,  孙俊 ,  高云勇 ,  夏芸

IPC: G06V20/40 ,  G06V10/82 ,  G06N3/0442 ,  G06N3/0464 ,  G06N3/08 ,  G06V10/80 ,  G06N3/048

Abstract: 本发明公开了基于时空解耦与自注意力差分LSTM的视频预测方法、系统，该方法包括：引入对抗性损失约束和相似性约束构建时空解耦网络，获得视频的解耦特征；利用差分运算设计动态差分模型，替换传统LSTM单元的遗忘门；在注意力基础上设计一个门控机制，将长时记忆与被注意的特征深度融合，组建新的全局自注意力模型；结合动态差分模型和全局自注意力模型，组建DISA‑LSTM单元，并使用对角循环体系结构堆叠该单元，构建DISA‑LSTM预测网络；基于卷积自编码器搭建网络整体架构，并联合损失函数训练模型。本发明有效提高了网络捕获高维动态复杂特征的能力和视频预测的精确性，降低了高维视频数据给预测工作带来的复杂程度。