Patent search ap:("中国科学院计算技术研究所") AND inv:"王文杉" Page 1

1.

发明公开
基于查询引导的上下文压缩方法和装置审中-公开

公开(公告)号：CN119669398A

公开(公告)日：2025-03-21

申请号：CN202411658765.4

申请日：2024-11-20

Applicant: 中国科学院计算技术研究所

Inventor： 郭嘉丰 , 范意兴 , 廖华明 , 王文杉 , 程学旗

IPC: G06F16/3329 , G06F40/211 , G06F40/284 , G06N5/04

Abstract: 本发明提供了一种基于查询引导的上下文压缩方法，包括：将查询信息和待压缩的上下文填入对话模板；分别计算所述对话模板的所述上下文中若干词元的第一注意力数值；根据所述若干词元对应的所述第一注意力数值将所述上下文进行注意力重构；将注意力重构后的所述上下文压缩到预定的目标压缩率之内。本发明还提供一种基于查询引导的上下文压缩系统、存储介质及电子设备。借此，本发明能够更高效地保留关键信息，将更短的上下文输入给生成模型，提高长上下文推理场景下生成模型的推理效率，降低推理成本。

Patent Agency Ranking