Patent search ap:("中国科学院自动化研究所") AND inv:"杨瑞" Page 1

1.

发明公开
线性复杂度的最少参数注意力逼近的Logos大模型审中-实审

公开(公告)号：CN118862975A

公开(公告)日：2024-10-29

申请号：CN202410860601.3

申请日：2024-06-28

Applicant: 中国科学院自动化研究所

Inventor： 李国齐 , 姚满 , 徐波 , 梅仕杰 , 杨瑞

IPC: G06N3/048 , G06N3/0442 , G06N3/08

Abstract: 本发明提供一种线性复杂度的最少参数注意力逼近的Logos大模型，包括Token混合层和通道混合层；Token混合层用于：将t时刻输入的第一token经可重参数化矩阵分别映射得到查询值、键值、动态衰减值和门控状态；基于键值和动态衰减值确定t时刻的记忆状态，并基于t时刻的记忆状态和查询值得到中间值；将中间值和门控状态进行矩阵运算后经可重参数化矩阵映射得到t时刻的第一输出矩阵；基于所有时刻的第一输出矩阵得到第二token；通道混合层用于：将第二token经可重参数化矩阵映射得到第一矩阵和第二矩阵；将第一矩阵与非线性激活函数进行矩阵运算后与第二矩阵进行矩阵运算，得到通道矩阵；将通道矩阵经可重参数化矩阵映射得到第二输出矩阵。

Patent Agency Ranking