滑动栅栏乘积量化方法和装置
    1.
    发明公开

    公开(公告)号:CN120011695A

    公开(公告)日:2025-05-16

    申请号:CN202411945551.5

    申请日:2024-12-27

    Applicant: 北京大学

    Inventor: 杨仝 李旺 王砚舒

    Abstract: 本发明属于信息技术领域,具体涉及一种滑动栅栏乘积量化方法和装置。该方法包括:获取将输入的N个D维向量视为N×D矩阵并进行初始分割,得到小值矩阵、大值矩阵、指示矩阵;然后进行递归分割,将递归分割后得到的小值矩阵、大值矩阵合并成一个新的矩阵,并通过滑窗的方式划分子空间;在各个子空间内执行K‑means聚类,将簇中心作为码本对子空间内的所有向量进行编码;通过Count‑min操作得到每一个元素的最终编码,合并后得到量化结果。本发明实现了乘积量化算法的改进和优化,可在保证精度的前提下有效减小内存开销,可广泛应用于大语言模型权重量化、向量数据库管理、KV缓存优化、图压缩、图像压缩等需要高效矩阵量化的领域。

Patent Agency Ranking