-
公开(公告)号:CN118550697A
公开(公告)日:2024-08-27
申请号:CN202410621425.8
申请日:2024-05-20
Applicant: 复旦大学
Abstract: 本发明属于推荐系统模型技术领域,具体为一种基于近内存处理架构的推荐模型推理加速系统。本发明包括硬件和软件两大部分,硬件部分为位于缓冲芯片中的近内存处理单元的架构,包括:DDR内存的缓冲芯片内部的近内存端的位于DIMM层面的DIMM级处理单元(DPE)、位于Rank层面的Rank级处理单元(RPE);近内存端处理单元使用的自定义压缩指令集;Bank‑Group扩展级;软件部分包括嵌入表的划分模块、主机端需要执行的算法模块、主机端的软件架构等。本发明在近内存处理架构中支持多种划分策略同时存在,并为推荐模型的每张嵌入表选择最优的划分策略,以达到针对推荐模型推理的加速效果。