支持深度神经网络推理加速的异构存算融合系统及方法

    公开(公告)号:CN112149816B

    公开(公告)日:2021-02-12

    申请号:CN202011340107.2

    申请日:2020-11-25

    Abstract: 本发明公开了一种支持深度神经网络推理加速的异构存算融合系统及方法,包括:主机处理器,用于控制和管理整个异构存算融合系统;非易失内存模块,与所述主机处理器相连,用于神经网络处理;3D堆叠内存模块,与所述主机处理器相连,用于神经网络处理;网络模块,与所述主机处理器相连,用于与外部主机连接;配置电路,与所述主机处理器相连,用于接收所述主机处理器的配置命令并控制电压发生器,也用于接收所述主机处理器的配置命令并配置3D堆叠内存模块;电压发生器,分别与所述非易失内存模块和配置电路相连,用于接收所述配置电路的控制命令,对所述非易失内存模块施加外部激励,调节其电导状态。

    一种联邦学习模型训练方法、装置及联邦学习系统

    公开(公告)号:CN112232528A

    公开(公告)日:2021-01-15

    申请号:CN202011473442.X

    申请日:2020-12-15

    Abstract: 本发明公开了一种联邦学习模型训练方法、装置及联邦学习系统,边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息;一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域,端设备依靠本地数据并采用截断的方式完成模型本地训练,边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息;边缘计算服务器也采用截断的方式完成模型本地训练,云端联邦学习子系统负责多个边缘计算服务器的梯度更新;在训练到达收敛期,分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿,形成全局机器学习模型信息。

    面向推荐系统矩阵分解方法的异构多XPU机器学习系统

    公开(公告)号:CN111967590A

    公开(公告)日:2020-11-20

    申请号:CN202011142652.0

    申请日:2020-10-23

    Abstract: 本发明公开了面向推荐系统矩阵分解方法的异构多XPU机器学习系统,包括参数服务器和与其连接的一组XPU工作器,所述的参数服务器用于数据加载、数据分配,以及矩阵分解算法中参数分发、参数接收和参数更新,XPU工作器用于参数计算和局部更新,参数服务器包括DataManager模块,用于根据XPU工作器的性能计算并提供数据划分信息,XPU工作器包括异步SGD优化器。异构系统的数据采用一级分配,内部共享同一数据锁,当XPU规模变大时,锁开销加剧影响系统性能,利用XPU工作器的异步SGD优化器,使得XPU工作器之间相互无锁,XPU工作器内部独立进行数据分块和调度。

    一种自适应层级的图像切分识别方法、装置及系统

    公开(公告)号:CN111738236A

    公开(公告)日:2020-10-02

    申请号:CN202010817355.5

    申请日:2020-08-14

    Abstract: 本发明公开了一种自适应层级的图像切分识别方法、装置及系统,该方法包括:获取高清视频中某一帧的原始图像;对所述原始图像,进行图像切分,得到若干有像素重叠的图像切片;对子图像切片进行迭代切分并识别;最终对所有识别结果进行选择得到最终图像的识别结果。本发明解决了现有对高清图像物体识别存在的速度慢、小物体检出率低的问题,做到了高清图像中物体识别速度快、检出率高的效果。

    面向芯粒的主协处理器协作计算模拟器设计方法和装置

    公开(公告)号:CN117632838A

    公开(公告)日:2024-03-01

    申请号:CN202311611140.8

    申请日:2023-11-29

    Abstract: 本发明公开了一种面向芯粒的主协处理器协作计算模拟器设计方法和装置,方法包括:构建由主协处理器协作计算的模拟器,主处理器为乱序执行CPU,协处理器包含功能模拟模块和性能模拟模块,主协处理器用RoCC交互接口连接;获取芯粒物理架构信息对模拟器进行设置;将神经网络编译为包含协处理器指令集的可执行文件;主处理器接收可执行文件,通过协处理器写指令构造消息发送给协处理器;协处理器根据消息类型进行处理并发送计算完成消息至主处理器;主处理器接收消息后通过协处理器读指令告知程序继续执行,最终获得神经网络的模拟运行结果和性能评估结果。本发明方法能够有效指导芯粒设计,降低芯粒设计过程中的经济开销和时间开销。

    一种面向多芯粒芯片的深度学习推理模拟器

    公开(公告)号:CN116523045B

    公开(公告)日:2023-11-07

    申请号:CN202310235465.4

    申请日:2023-03-13

    Abstract: 本发明公开了一种面向多芯粒芯片的深度学习推理模拟器,包括:配置输入层,用于获取模拟所需的深度学习模型、多芯粒芯片架构和映射策略;模型解析层,用于根据映射策略对所述深度学习模型进行解析,得到模型解析表;路由生成层,用于根据模型解析表中每个算子的运行策略分析算子内路由和算子间路由并生成路由文件;推理模拟层,用于进行深度学习模型在多芯粒芯片架构所描述的多芯粒芯片上的推理模拟,将路由文件分层次并通过片上网络模拟器进行多进程并行模拟,得到各算子路由所需的周期数;结果计算层,用于将推理模拟层中并行模拟得到的算子路由周期数进行整理计算,得到深度学习模型在多芯粒芯片上推理模拟的周期数和平均设备利用率。

    一种基于芯粒的数据处理的方法、装置、介质及设备

    公开(公告)号:CN115829017B

    公开(公告)日:2023-05-23

    申请号:CN202310156339.X

    申请日:2023-02-20

    Abstract: 本说明书公开了一种基于芯粒的数据处理的方法、装置、介质及设备。首先,获取芯粒阵列的阵列尺寸以及神经网络模型对应的有向无环图。其次,根据芯粒阵列的阵列尺寸,构建各类算子的划分策略集合以及芯粒分配策略集合。而后,根据神经网络模型中的各算子在有向无环图中的深度,确定各算子所要加入的调度搜索模块。然后,针对每个调度搜索模块,根据各类算子的划分策略集合以及芯粒分配策略集合,确定满足预设条件的各策略组合,并计算该调度搜索模块中对应的各策略组合所需的运算开销,确定目标策略组合。最后,根据各调度搜索模块对应的目标策略组合,执行神经网络模型的运算任务。本方法可以合理的分配芯粒资源,提高芯粒资源的资源利用率。

    一种芯粒算法调度方法、系统、电子设备及存储介质

    公开(公告)号:CN115860081A

    公开(公告)日:2023-03-28

    申请号:CN202310179898.2

    申请日:2023-03-01

    Abstract: 本发明涉及一种芯粒算法调度方法,包括:获取待调度的神经网络算法计算图;获取芯粒的拓扑结构,并基于拓扑结构生成芯粒资源列表;对神经网络算法计算图进行图优化;对计算图划分并行组;对计算图进行活跃性分析;生成计算图中的每个算子的策略和对应的开销;生成整数线性规划的优化变量;设定整数线性规划的求解目标;设定整数线性规划的约束条件;求解整数线性规划问题;将求解整数线性规划问题得到的解作为计算图在芯粒上的调度方法。与现有技术相比,本发明基于整数线性规划技术,将算法调度空间搜索问题转换成整数线性规划求解问题,通过设置多种求解约束缩小策略探索空间,能够在很短的时间内得到神经网络算法在芯粒上最优的调度方案。

    一种基于芯粒的数据处理的方法、装置、介质及设备

    公开(公告)号:CN115829017A

    公开(公告)日:2023-03-21

    申请号:CN202310156339.X

    申请日:2023-02-20

    Abstract: 本说明书公开了一种基于芯粒的数据处理的方法、装置、介质及设备。首先,获取芯粒阵列的阵列尺寸以及神经网络模型对应的有向无环图。其次,根据芯粒阵列的阵列尺寸,构建各类算子的划分策略集合以及芯粒分配策略集合。而后,根据神经网络模型中的各算子在有向无环图中的深度,确定各算子所要加入的调度搜索模块。然后,针对每个调度搜索模块,根据各类算子的划分策略集合以及芯粒分配策略集合,确定满足预设条件的各策略组合,并计算该调度搜索模块中对应的各策略组合所需的运算开销,确定目标策略组合。最后,根据各调度搜索模块对应的目标策略组合,执行神经网络模型的运算任务。本方法可以合理的分配芯粒资源,提高芯粒资源的资源利用率。

    一种基于DRAM存内计算的碱基序列过滤方法与装置

    公开(公告)号:CN115409174A

    公开(公告)日:2022-11-29

    申请号:CN202211354686.5

    申请日:2022-11-01

    Abstract: 本发明公开一种基于DRAM存内计算的碱基序列过滤方法与装置,该方法为:步骤一,根据DRAM的存储阵列的列宽和所要筛选目标碱基序列的起点地址,筛选出目标碱基序列后进行重新整理组合;步骤二,对重新整理组合后的目标碱基序列分别进行碱基为A腺嘌呤、G鸟嘌呤、C胞嘧啶、T胸腺嘧啶的标记并获取到对应碱基的标记行;步骤三,对标记行数据进行移位后统计标记行中位置值为1的个数,获得对应碱基的统计结果;步骤四,利用参考碱基序列的统计结果与所述目标碱基序列的统计结果进行对比,过滤所筛选的目标碱基序列。本发明将位置匹配筛选放置在内存子阵列中进行,减少了大量数据在cpu与内存之间的搬移,成倍提升了计算效率,降低了功耗。

Patent Agency Ranking