公开(公告)号：CN119623377A

公开(公告)日：2025-03-14

申请号：CN202411790989.0

申请日：2024-12-06

Applicant: 中国科学院计算技术研究所

Inventor： 陈云霁 ,  郝一帆 ,  陆韵岐 ,  赵永威 ,  杜子东 ,  郭崎 ,  孔维浩 ,  支天 ,  李威

IPC: G06F30/3308

Abstract: 本发明提出一种大模型推理芯片的验证方法、装置、存储介质，该方法包含：根据大模型推理芯片的设计文档搭建模拟器核心状态机，并基于状态机搭建大模型推理芯片的模拟器；抓取大模型推理芯片的模型推理算法各步骤的数据流踪迹，获取踪迹文件；利用模拟器模拟推理过程，利用权重类型文件提供模型参数，利用激活类型文件比对模型推理算法执行过程中在相同输入下运算得到的激活数据，验证数据流踪迹的正确性；若数据流踪迹比对成功，抓取符合硬件行为仿真验证格式要求的踪迹文件，得到筛选后的跟踪文件；利用筛选后的跟踪文件作为金标准，对大模型推理芯片进行验证。该方法提高了对大模型推理芯片行为的模拟效果，提高了验证效率。

公开(公告)号：CN118446267A

公开(公告)日：2024-08-06

申请号：CN202410618369.2

申请日：2024-05-17

Applicant: 中国科学院计算技术研究所

Inventor： 陈云霁 ,  孔维浩 ,  郝一帆 ,  郭崎 ,  赵永威 ,  杜子东 ,  宋新开 ,  邹沫 ,  李夏青

IPC: G06N3/063 ,  G06N3/049 ,  G06F15/78 ,  G06F7/523 ,  G06F7/483 ,  G06F7/487

Abstract: 本发明提出一种扩散模型加速器，包含：片外内存，存储有上一时间步的原值；片上缓存，包含：权重缓存模块，与外片内存耦接，用于提取权重值进行缓存；输入特征缓存模块，用于读取输入差分激活值进行缓存；输出特征缓存模块，用于读取输出差分激活值进行缓存；处理引擎，包含：运算器阵列，用于读取缓存的该权重值与该输入差分激活值进行卷积乘法运算，生成该输出差分激活值；特殊处理模块，与该片外内存及该输出特征缓存模块耦接，用于从该片外内存获取该原值的符号位值；且利用该符号位值在该输出差分激活值上进行函数激活运算，生成增量输出值。其具有良好的加速效果，同时具有较高的能量效率和面积效率。