-
公开(公告)号:CN114697655A
公开(公告)日:2022-07-01
申请号:CN202011611154.6
申请日:2020-12-30
Applicant: 中国科学院计算技术研究所
IPC: H04N19/122 , H04N19/124 , H04N19/13 , H04N19/42 , G06N3/08
Abstract: 本发明提出一种基于均衡流间压缩速度的神经网络量化压缩方法,包括:步骤1、获取经过量化处理后待压缩的神经网络数据,对神经网络数据进行分块,得到多个数据块;步骤2、对每一个数据块分配一个数据流进行压缩,每条数据流的压缩包括:对数据块进行游程全零编码,得到游程压缩数据,其中游程全零编码仅对神经网络数据中的零字符进行游程编码,对游程压缩数据进行规范化哈夫曼编码,并对编码结果进行重整,得到规范哈夫曼编码,作为数据块的压缩结果;步骤2包括:步骤21、监测各数据流已经压缩编码的数据量,向当前编码速度快的数据流的输出缓存写入虚字符对应的虚编码。均衡流间压缩速度,缩小流水线之间的编码差距,进而避免产生死锁。
-
公开(公告)号:CN114418075A
公开(公告)日:2022-04-29
申请号:CN202111591419.5
申请日:2021-12-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出了一种基于软流水的LSTM循环网络加速方法和系统,包括:获取具有权重缓存的AI专用芯片和待处理的时间序列,将待运行的LSTM循环网络模型加载至该AI专用芯片,并将LSTM循环网络模型运行中部分时间无关项加载至该权重缓存,另一部分时间无关项存于硬盘;按顺序将该时间序列中当前时刻t的特征向量Xt,以及前一时刻的隐层输出Ht‑1输入至该AI专用芯片,通过读取位于权重缓存的部分时间无关项,运行与该部分时间无关项相关的该LSTM循环网络模型的同时加载硬盘中该另一部分时间无关项至该权重缓存,当与该部分时间无关项相关的该LSTM循环网络模型运行完毕后,再从权重缓存读取该另一部分时间无关项继续执行该LSTM循环网络模型,得到当前时刻t的隐层输出Ht。
-
公开(公告)号:CN111831582A
公开(公告)日:2020-10-27
申请号:CN202010689148.6
申请日:2020-07-16
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供一种用于智能处理器的内存管理装置及方法,装置包括:循环内存段,包括第一内存区域、第二内存区域及第三内存区域,分别用于所述智能处理器进行运算过程中的分形运算、规约运算、数据装载及写回时调用;静态内存段,包括第四内存区域及第五内存区域,用于存储所述智能处理器进行运算时输入的分形指令。基于指令执行生命周期的差别,将智能处理器控制系统内存进行分类管理,可提高智能处理器的执行效率,并且,内存管理装置中增加张量置换单元可以进一步显著改善智能处理器的执行效率,同时数据一致性也得以维护。
-
公开(公告)号:CN111831339A
公开(公告)日:2020-10-27
申请号:CN202010688860.4
申请日:2020-07-16
Applicant: 中国科学院计算技术研究所
IPC: G06F9/38
Abstract: 本公开提供一种用于智能处理器的指令执行方法及装置,方法包括:指令译码,将执行分形运算的串行分解子指令译码为本地指令及分形运算指令;数据装载,将分形运算所需数据从外部存储单元读取至智能处理器的本地存储单元;操作执行,根据分形运算指令对数据完成分形运算;规约执行,根据本地指令对分形运算的结果进行规约运算;数据写回,将本地存储器中存储的规约运算结果读取至外部存储器;指令译码、数据装载、操作执行、规约执行及数据写回按照流水线方式执行。该方法可以在任意时将全部层次上的全部模块调动起来,提供了智能处理器的数据吞吐率,从而提高了智能处理器的执行效率。
-
公开(公告)号:CN111831332A
公开(公告)日:2020-10-27
申请号:CN202010689114.7
申请日:2020-07-16
Applicant: 中国科学院计算技术研究所 , 中国科学院大学
Abstract: 本公开提供一种用于智能处理器的控制系统,智能处理器的每一层分形计算子单元包括控制系统,控制系统包括:串行分解模块,用于对智能处理器执行分形运算对应的分形指令集进行串行分解,得到串行分解子指令,并对串行分解子指令进行暂存;降级模块,用于对串行分解子指令进行降级,将上一层分形计算子单元对当前层分形计算子单元下发的串行分解子指令修改为当前层分形计算子单元对下一层分形计算子单元下发的串行分解子指令;并行分解模块,用于对降级后的串行分解子指令进行并行分解,得到满足智能处理器中所有分形计算子单元并发运行的并发度要求的并行分解子指令。该控制系统可以高效、准确地控制智能处理器执行分形运算及规约运算。
-
公开(公告)号:CN111666444A
公开(公告)日:2020-09-15
申请号:CN202010492049.9
申请日:2020-06-02
Applicant: 中国科学院计算技术研究所
IPC: G06F16/635 , G06K9/00
Abstract: 本公开提供了一种基于人工智能技术的智能音频文件推送方法、播放方法、图像采集方法、设备及系统,智能音频文件推送方法包括:获取用户图像;根据用户图像,利用人工智能平台获取用户动作信息和用户表情信息;根据用户动作信息,确定出音频文件集合;根据用户动作信息和用户表情信息,确定出用户的心情参数;从音频文件集合获取与心情参数对应的音频文件,并发送至用户的用户设备。本公开实施例利用人工智能算法进行数据处理,获取到用户的动作信息和表情信息,进而确定出需要推送的音频,提升了音频推荐时的准确性,另外,利用人工智能处理器加速运算过程,能够加快运算速度,提升反馈效率。
-
公开(公告)号:CN119623377A
公开(公告)日:2025-03-14
申请号:CN202411790989.0
申请日:2024-12-06
Applicant: 中国科学院计算技术研究所
IPC: G06F30/3308
Abstract: 本发明提出一种大模型推理芯片的验证方法、装置、存储介质,该方法包含:根据大模型推理芯片的设计文档搭建模拟器核心状态机,并基于状态机搭建大模型推理芯片的模拟器;抓取大模型推理芯片的模型推理算法各步骤的数据流踪迹,获取踪迹文件;利用模拟器模拟推理过程,利用权重类型文件提供模型参数,利用激活类型文件比对模型推理算法执行过程中在相同输入下运算得到的激活数据,验证数据流踪迹的正确性;若数据流踪迹比对成功,抓取符合硬件行为仿真验证格式要求的踪迹文件,得到筛选后的跟踪文件;利用筛选后的跟踪文件作为金标准,对大模型推理芯片进行验证。该方法提高了对大模型推理芯片行为的模拟效果,提高了验证效率。
-
公开(公告)号:CN111831339B
公开(公告)日:2024-04-02
申请号:CN202010688860.4
申请日:2020-07-16
Applicant: 中国科学院计算技术研究所
IPC: G06F9/38
Abstract: 本公开提供一种用于智能处理器的指令执行方法及装置,方法包括:指令译码,将执行分形运算的串行分解子指令译码为本地指令及分形运算指令;数据装载,将分形运算所需数据从外部存储单元读取至智能处理器的本地存储单元;操作执行,根据分形运算指令对数据完成分形运算;规约执行,根据本地指令对分形运算的结果进行规约运算;数据写回,将本地存储器中存储的规约运算结果读取至外部存储器;指令译码、数据装载、操作执行、规约执行及数据写回按照流水线方式执行。该方法可以在任意时将全部层次上的全部模块调动起来,提供了智能处理器的数据吞吐率,从而提高了智能处理器的执行效率。
-
公开(公告)号:CN111831582B
公开(公告)日:2024-03-29
申请号:CN202010689148.6
申请日:2020-07-16
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供一种用于智能处理器的内存管理装置及方法,装置包括:循环内存段,包括第一内存区域、第二内存区域及第三内存区域,分别用于所述智能处理器进行运算过程中的分形运算、规约运算、数据装载及写回时调用;静态内存段,包括第四内存区域及第五内存区域,用于存储所述智能处理器进行运算时输入的分形指令。基于指令执行生命周期的差别,将智能处理器控制系统内存进行分类管理,可提高智能处理器的执行效率,并且,内存管理装置中增加张量置换单元可以进一步显著改善智能处理器的执行效率,同时数据一致性也得以维护。
-
公开(公告)号:CN115329949A
公开(公告)日:2022-11-11
申请号:CN202211006130.7
申请日:2022-08-22
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种基于真值表的函数自动生成方法和系统,包括:基于真值表的问题中逻辑表达式各语法符号的关系与它们的在实际处理的序列中距离大小无关、逻辑表达式的生成语义规则与布尔向量函数示例采样的结果长度无关的科学规律,作为解决基于真值表函数自动化生成问题的科学依据。还设计了一种编码器‑解码器结构的神经网络模型用于解决基于真值表生成函数的问题,该模型用两个自注意力机制编码器分别对输入和输出进行编码,用1个自注意力机制解码器自回归地输出对应的逻辑表达式,在编码器和解码器之间使用注意力机制;为解决基于真值表函数自动化生成问题提供了技术方案,相比同期主流基准模型在指定数据集上取得了更好的效果。
-
-
-
-
-
-
-
-
-