公开(公告)号：CN116434122A

公开(公告)日：2023-07-14

申请号：CN202310517491.6

申请日：2023-05-08

Applicant: 安徽大学

Inventor： 王逍 ,  吴宗振 ,  江波

IPC: G06V20/40 ,  G06V10/774 ,  G06V10/82 ,  G06V10/80 ,  G06N3/0455 ,  G06N3/08 ,  G06N3/0464

Abstract: 本发明涉及事件识别技术，具体涉及事件识别模型的训练方法、装置、设备及事件识别方法，包括：获取事件样本数据的事件段、视频帧和标签；将事件段和视频帧分别输入待训练的事件识别模型的脉冲卷积神经网络和记忆Transformer网络，得到事件段特征和视频帧特征；将事件段特征和视频帧特征进行融合，得到识别结果；根据识别结果与标签之间的损失函数对模型参数进行调整，得到训练完成的事件识别模型。本发明训练的事件识别模型利用记忆Transformer网络处理RGB视频，更好的表示RGB视频的时间和空间信息；另一方面利用脉冲卷积神经网络处理事件流，低开销的同时保留高性能；最后将双模态数据进行融合进一步提高识别性能。