-
公开(公告)号:CN120011695A
公开(公告)日:2025-05-16
申请号:CN202411945551.5
申请日:2024-12-27
Applicant: 北京大学
IPC: G06F17/16 , G06V10/762 , G06T9/00 , G06T7/10
Abstract: 本发明属于信息技术领域,具体涉及一种滑动栅栏乘积量化方法和装置。该方法包括:获取将输入的N个D维向量视为N×D矩阵并进行初始分割,得到小值矩阵、大值矩阵、指示矩阵;然后进行递归分割,将递归分割后得到的小值矩阵、大值矩阵合并成一个新的矩阵,并通过滑窗的方式划分子空间;在各个子空间内执行K‑means聚类,将簇中心作为码本对子空间内的所有向量进行编码;通过Count‑min操作得到每一个元素的最终编码,合并后得到量化结果。本发明实现了乘积量化算法的改进和优化,可在保证精度的前提下有效减小内存开销,可广泛应用于大语言模型权重量化、向量数据库管理、KV缓存优化、图压缩、图像压缩等需要高效矩阵量化的领域。