缓存优化方法、装置、设备、存储介质及计算机程序产品

    公开(公告)号:CN119484641A

    公开(公告)日:2025-02-18

    申请号:CN202411606632.2

    申请日:2024-11-11

    Abstract: 本申请涉及缓存优化技术领域,公开了一种缓存优化方法、装置、设备、存储介质及计算机程序产品,该方法包括:获取不同缓存层级中各缓存节点的数据信息,并基于所述数据信息更新缓存策略,得到更新后的缓存策略,其中,所述不同缓存层级包括本地缓存层级、区域缓存层级和全局缓存层级;基于所述更新后的缓存策略对各所述缓存层级进行优化,得到优化后的缓存内容;响应于用户的内容请求,在不同所述缓存层级进行动态路径选择,得到目标请求路径;基于所述目标请求路径从所述优化后的缓存内容中获取目标缓存内容。本申请能够有效适应不同规模和类型的数据请求,实现存储资源的高效利用和访问性能的优化,有效提高缓存命中率,降低内容传输成本。

    键值缓存方法、装置、设备、存储介质及产品

    公开(公告)号:CN119941879A

    公开(公告)日:2025-05-06

    申请号:CN202510032637.7

    申请日:2025-01-08

    Abstract: 本申请公开了一种键值缓存方法、装置、设备、存储介质及产品,涉及数据存储技术领域,该方法包括:根据模型的每个图像提示编码构建图像提示的场景图,并根据场景图确定每个视觉对象的完整特征表示,与每个图像提示编码进行融合,将获得的最终视觉特征表示和文本提示编码进行融合,获得多模态提示向量编码;根据键层的权重矩阵和值层的权重矩阵分别确定多模态提示向量编码的键值对,并将键值对进行键值缓存。由于本申请根据图像提示的场景图实现了图像原始特征和场景图对象特征的融合,删减了图像模态中的冗余视觉信息,并缩减了图像编码的长度,从而解决了键值缓存中内存浪费导致模型推理效率低的问题,提高了多模态大语言模型的推理效率。

Patent Agency Ranking