公开(公告)号：CN119598168A

公开(公告)日：2025-03-11

申请号：CN202411682122.3

申请日：2024-11-21

Applicant: 鹏城实验室

Inventor： 王耀威 ,  李嘉豪 ,  陈益强 ,  谷洋 ,  蓝湘源

IPC: G06F18/213 ,  G06N3/045 ,  G06N3/08 ,  G06F18/25 ,  G06N5/04

Abstract: 本申请提供了一种基于注意力和记忆机制的特征处理方法以及相关设备，方法包括：获取目标深度学习单元当前时刻对应的待输入数据；对当前输入数据进行编码处理和维度压缩，得到多个压缩向量；基于查询投影矩阵、键投影矩阵和值投影矩阵计算多个压缩向量对应的注意力权重，并根据多个注意力权重得到局部特征向量；基于记忆矩阵计算局部特征向量对应的多个全局特征向量，并对多个全局特征向量进行加权计算，得到多个记忆特征向量；对多个记忆特征向量进行特征融合以及维度还原，得到重构数据，以使目标深度学习单元基于重构数据进行训练，执行对应的深度学习任务，能够有效捕捉长时输入数据中的长期依赖关系，进而提高其模型性能。