-
公开(公告)号：CN119740663A
公开(公告)日：2025-04-01
申请号：CN202411809841.7
申请日：2024-12-10
Applicant: 中国科学院计算技术研究所
IPC: G06N5/04
Abstract: 本发明提出一种基于拓扑计算的大模型推理计算架构，包括：CPU、SDRAM、代码存储器、提示词存储器，以及大模型推理加速器，并通过总线将该CPU、该SDRAM、该代码存储器、该提示词存储器及该大模型推理加速器进行路由连接；进行大模型推理计算时，首先将该代码存储器中的代码及该提示词存储器中的提示词和词表，读取至该SDRAM，再根据该提示词的标记ID查询该SDRAM中的词表以获取嵌入向量，然后将该嵌入向量发送给该大模型推理加速器进行大模型推理计算，将该大模型推理加速器获得的输出结果发送上位机。本发明还提出一种基于拓扑计算的大模型推理计算方法及装置。本发明解决了大模型推理过程中权值加载的开销过大及KV cache的SRAM实现面积开销过大的问题。
-
公开(公告)号：CN118468966A
公开(公告)日：2024-08-09
申请号：CN202410647057.4
申请日：2024-05-23
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种串行压缩单元、深度神经网络加速器，该加速器的每一处理元件包含串行压缩单元与计算单元，其中：该串行压缩单元包含异步电路握手模块与锁存模块，相邻串行压缩单元的异步电路握手模块彼此之间串行连接，且每一异步电路握手模块由一握手信号控制，相邻二异步电路握手模块之间连接一延时匹配模块；相邻串行压缩单元的锁存模块彼此之间串行连接，且每一锁存模块对应连接异步电路握手模块，且于接收该异步电路握手模块输出的使能信号时被触发，每一锁存模块由该使能信号控制。该加速器性能与能效显著提高。
-
公开(公告)号：CN118394482A
公开(公告)日：2024-07-26
申请号：CN202410647061.0
申请日：2024-05-23
Applicant: 中国科学院计算技术研究所
IPC: G06F9/48
Abstract: 本发明提出一种基于AI处理器板卡任务调度的AI任务执行加速方法和装置，包括：获取待执行的AI任务，并在该AI任务中增加调度策略配置参数；具有多个AI处理器板卡的AI计算平台根据该调度策略配置参数，确定执行该AI任务的AI处理器板卡ID；将该AI任务的运行在该AI处理器板卡ID对应的AI处理器板卡上，得到该AI任务的执行结果。从而可以达到更高效地利用AI处理器的效果；在该调度机制中，用户可以在配置文件中灵活地设置调度策略；调度策略包括内存占用最少优先、计算利用率最低优先和智能调度策略。
-
公开(公告)号：CN117991628A
公开(公告)日：2024-05-07
申请号：CN202211378151.1
申请日：2022-11-04
Applicant: 中国科学院计算技术研究所
IPC: G05B13/04 , G06N3/045 , G06N3/0499 , G06N3/048 , G06N3/092
Abstract: 本发明提出一种基于上下文符号策略的元强化学习自动控制方法和系统，包括：将基础控制对象的运动轨迹的上下文变量输入参数生成器，得到上下文变量中所有动作维度在符号网络中的预测参数；路径选择器通过在预测参数上乘以二进制掩码，以从符号网络中选择代表符号表达式形式的路径；符号网络根据路径和预测参数，生成训练样本的预测控制策略；使用预测控制策略控制基础控制对象，根据其运动轨迹使用强化学习训练更新参数生成器和路径选择器；将目标控制对象的上下文变量输入训练完的路径选择器和参数生成器，得到符号网络的结构和参数，从而得到目标控制对象符号化的控制策略，以控制策略控制目标控制对象完成控制目标。
-
-
Patent Agency Ranking
公开(公告)号：CN108510064B
公开(公告)日：2021-12-10
申请号：CN201810249506.4
申请日：2016-04-18
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供了一种包括多个核心处理模块的人工神经网络的处理系统及方法，其中，所述人工神经网络的处理系统，包括：多核心处理模块，其包括多个核心处理模块；其中，该多个核心处理模块共同复用输入神经元和/或权值。本公开包括多个核心处理模块的人工神经网络的处理系统及方法，其在神经网络处理系统中引入多核设计，从而提升神经网络处理系统的运算速度，使得神经网络处理系统性能更高，更加高效。
-
公开(公告)号：CN108764470B
公开(公告)日：2021-08-31
申请号：CN201810486529.7
申请日：2018-05-18
Applicant: 中国科学院计算技术研究所
IPC: G06N3/063 , G06K9/46 , G06F16/583
Abstract: 一种智能领航方法，包括：通过目标识别装置对航行时拍摄的图像进行处理，并且与样本库进行比对，识别图像中的障碍物类型；通过信息处理装置接收处理后的图像和识别的障碍物类型，并通过神经网络运算，输出航行选择数据。本公开的方法可以应用于智能领航，能够节约人力成本，同时降低了交通工具航行过程中的风险。
-
公开(公告)号：CN108665062B
公开(公告)日：2020-03-10
申请号：CN201810408130.7
申请日：2018-04-28
Applicant: 中国科学院计算技术研究所
Abstract: 本公开提供了一种基于小波变换减少IO开销的神经网络处理系统，其中，所述基于小波变换的神经网络处理系统，包括：片下压缩单元，用于对片下数据进行压缩并发送至片上；以及片上计算装置，与所述片下压缩单元连接，用于接收所述压缩并发送至片上的数据，执行神经网络运算；其中，所述压缩单元基于小波变换对所述片下数据进行压缩。本公开神经网络处理系统，通过在加载与存储数据时进行数据压缩，减少了IO量，降低了时间与能量开销。
-
公开(公告)号：CN108364066B
公开(公告)日：2019-11-08
申请号：CN201810249286.5
申请日：2018-03-23
Applicant: 中国科学院计算技术研究所
IPC: G06N3/063 , G06F16/9032
Abstract: 本公开提供了一种基于深度神经网络的自动聊天方法，包括以下步骤：获取用户输入信息，并经深度神经网络编码器生成固定长度向量；所述固定长度向量输入attention模型之后输出分数；根据所述分数判定经由attention模型或自然模型生成与所述输入信息对应的答复信息；其中，若所述分数小于一分数阈值，则进入语言模型，经语言模型生成与所述输入信息对应的答复信息；反之，直接经由attention模型生成与所述输入信息对应的答复信息。本公开还提供了一种基于深度神经网络的自动聊天机器人。本公开基于深度神经网络的自动聊天方法及机器人保证了聊天过程中答复信息的准确性，使得聊天内容更切合实际。
-
公开(公告)号：CN110059812A
公开(公告)日：2019-07-26
申请号：CN201910079638.1
申请日：2019-01-26
Applicant: 中国科学院计算技术研究所
Abstract: 本发明公开了一种脉冲神经网络运算芯片及相关运算方法，该脉冲神经网络运算方法应用于该脉冲神经网络运算芯片，该方法应用于脉冲神经网络，该脉冲神经网络包括时钟神经元，该方法包括：该时钟神经元在第一时间后，以第二时间为间隔发送时钟脉冲；该脉冲神经网络中与该时钟神经元对应的输出神经元根据该时钟脉冲发送输出脉冲。
-
-
-
-
-
-
-
-
-
Search Results
148
records
(took 0.037 seconds)
