公开(公告)号：CN118502711A

公开(公告)日：2024-08-16

申请号：CN202410632261.9

申请日：2024-05-21

Applicant: 中国科学院计算技术研究所

Inventor： 袁梓铭 ,  梁胜文 ,  刘成 ,  王颖 ,  李华伟 ,  李晓维

IPC: G06F7/505 ,  G06F7/53 ,  G06N3/063 ,  G06N3/0464 ,  G06N3/042

Abstract: 本发明提出一种神经向量检索加速器、及应用其的神经向量检索方法，该加速器包含：外设接口单元，用以接收外部控制信号，从内存中读取输入数据送入缓冲区中；乘积引擎，与外设接口单元耦接，用以读取输入向量及中心点向量，计算输入向量和中心点向量之间的点积或距离，取得第一计算结果；位置生成单元，与外设接口单元耦接，用以依据外部控制信号计算索引位置和结果位置；索引引擎，与乘积引擎、位置生成单元耦接，用以依据索引位置和结果位置，从外设接口单元中获取查找地址，依据查询地址从第一计算结果中索引数据并求和，得到第二计算结果。该加速器降低了神经向量检索的计算和存储访问开销，节省硬件资源。

公开(公告)号：CN118502900A

公开(公告)日：2024-08-16

申请号：CN202410632248.3

申请日：2024-05-21

Applicant: 中国科学院计算技术研究所

Inventor： 袁梓铭 ,  梁胜文 ,  刘成 ,  王颖 ,  李华伟 ,  李晓维

IPC: G06F9/48 ,  G06N3/063 ,  G06F15/16

Abstract: 本发明提出一种多核神经矢量检索硬件加速器及其调度方法，该加速器包含：子加速器堆，包含多个子加速器，用于执行计算任务；调度控制模块，与该子加速器堆耦接，配置为执行一调度程序，将每一计算任务匹配到合适的子加速器上执行。其能够满足神经向量检索多任务系统的实时性与高硬件利用率，提高用户的使用体验以及降低硬件加速器的成本。