-
公开(公告)号：CN111967590B
公开(公告)日：2021-02-02
申请号：CN202011142652.0
申请日：2020-10-23
Applicant: 之江实验室
Abstract: 本发明公开了面向推荐系统矩阵分解方法的异构多XPU机器学习系统，包括参数服务器和与其连接的一组XPU工作器，所述的参数服务器用于数据加载、数据分配，以及矩阵分解算法中参数分发、参数接收和参数更新，XPU工作器用于参数计算和局部更新，参数服务器包括DataManager模块，用于根据XPU工作器的性能计算并提供数据划分信息，XPU工作器包括异步SGD优化器。异构系统的数据采用一级分配，内部共享同一数据锁，当XPU规模变大时，锁开销加剧影响系统性能，利用XPU工作器的异步SGD优化器，使得XPU工作器之间相互无锁，XPU工作器内部独立进行数据分块和调度。
-
公开(公告)号：CN112149816A
公开(公告)日：2020-12-29
申请号：CN202011340107.2
申请日：2020-11-25
Applicant: 之江实验室
Abstract: 本发明公开了一种支持深度神经网络推理加速的异构存算融合系统及方法，包括：主机处理器，用于控制和管理整个异构存算融合系统；非易失内存模块，与所述主机处理器相连，用于神经网络处理；3D堆叠内存模块，与所述主机处理器相连，用于神经网络处理；网络模块，与所述主机处理器相连，用于与外部主机连接；配置电路，与所述主机处理器相连，用于接收所述主机处理器的配置命令并控制电压发生器，也用于接收所述主机处理器的配置命令并配置3D堆叠内存模块；电压发生器，分别与所述非易失内存模块和配置电路相连，用于接收所述配置电路的控制命令，对所述非易失内存模块施加外部激励，调节其电导状态。
-
公开(公告)号：CN112015673A
公开(公告)日：2020-12-01
申请号：CN202011137494.X
申请日：2020-10-22
IPC: G06F12/02
Abstract: 本发明涉及计算机内存计算领域，具体涉及一种基于混合存储的存内计算方法与装置，该方法包括：首先通过混合存储区将数据进行混合存储，然后利用数据转存区通过字线驱动器和控制器对某一指定行的数据进行移位操作，最后基于混合存储和移位操作进行数据的乘法计算。本发明结合非易失存储与内存计算，一方面计算数据以纳秒级的速度从非易失器件中获得，特别是对于深度神经网络推理这种场景，可将模型参数事先存放于非易失存储区，计算时能减少了数据访问的时间，提高了系统性能；另一方面通过改进电路操作流程，减少了不必要的数据搬移时间，使得移位时间也能缩短至纳秒级别，提升了对于乘法计算这种有大量移位操作的计算效率，提高了系统性能。
-
-
公开(公告)号：CN112862111B
公开(公告)日：2021-08-24
申请号：CN202110450988.1
申请日：2021-04-26
IPC: G06N20/00
Abstract: 本发明涉及分布式计算系统领域，具体涉及一种加速分布式机器学习梯度汇聚的方法和装置，该装置包括：包括梯度汇聚器和与梯度汇聚器连接的工作节点，所述工作节点用于提供梯度数据至梯度汇聚器和接收梯度汇聚器的返还数据；所述梯度汇聚器，包括：输入接口和输入队列模块、接收仲裁模块、解析查找模块、输出队列模块、聚合模块、存储器、输出接口模块和配置接口模块，其中的聚合模块包括：控制模块、解析模块、梯度数据块信息表、梯度数据块缓存器、计算模块和网络组包输出模块。本发明支持大型机器学习模型的训练，存储器可以存储大量梯度数据，同时所需要的缓存空间可以很小，降低了系统缓存的要求，提高了系统整体性能。
-
Patent Agency Ranking
公开(公告)号：CN112015673B
公开(公告)日：2021-03-16
申请号：CN202011137494.X
申请日：2020-10-22
IPC: G06F12/02
Abstract: 本发明涉及计算机内存计算领域，具体涉及一种基于混合存储的存内计算方法与装置，该方法包括：首先通过混合存储区将数据进行混合存储，然后利用数据转存区通过字线驱动器和控制器对某一指定行的数据进行移位操作，最后基于混合存储和移位操作进行数据的乘法计算。本发明结合非易失存储与内存计算，一方面计算数据以纳秒级的速度从非易失器件中获得，特别是对于深度神经网络推理这种场景，可将模型参数事先存放于非易失存储区，计算时能减少了数据访问的时间，提高了系统性能；另一方面通过改进电路操作流程，减少了不必要的数据搬移时间，使得移位时间也能缩短至纳秒级别，提升了对于乘法计算这种有大量移位操作的计算效率，提高了系统性能。
-
公开(公告)号：CN112232528B
公开(公告)日：2021-03-09
申请号：CN202011473442.X
申请日：2020-12-15
Applicant: 之江实验室
Abstract: 本发明公开了一种联邦学习模型训练方法、装置及联邦学习系统，边缘计算服务器和端设备接收云端联邦学习子系统形成的全局机器学习模型信息；一个边缘计算服务器与一个以上的端设备利用网络局部性的优势形成区域，端设备依靠本地数据并采用截断的方式完成模型本地训练，边缘计算服务器负责所辖区域内端设备的多轮更新并向云端联邦学习子系统发送更新后的模型信息；边缘计算服务器也采用截断的方式完成模型本地训练，云端联邦学习子系统负责多个边缘计算服务器的梯度更新；在训练到达收敛期，分别对边缘计算服务器所辖区域内端设备和云端联邦学习子系统负责的多个边缘计算服务器实施截断节点的补偿，形成全局机器学习模型信息。
-
公开(公告)号：CN112418422A
公开(公告)日：2021-02-26
申请号：CN202011307776.X
申请日：2020-11-20
IPC: G06N3/08
Abstract: 本发明公开了一种基于人脑记忆机制的深度神经网络训练数据采样方法，包括如下步骤：S1，在初始训练周期，设置下一轮要训练的序列为整个训练集；S2，将训练序列中包含的数据根据批大小打包为多个批，放入神经网络进行训练，并获得样本的训练损失值；S3，根据损失值将样本序列划分为困难、中间、简单三种类型；S4，整个训练序列的样本都增加一个基本时钟，中间和简单的样本需要根据倒计时等待函数分别计算样本的额外增加的时钟数；S5，整个训练集的样本都减少一个时钟数，将时钟数为0的样本放入下一轮将要训练的序列之中；S6，重复步骤2‑5，直到神经网络收敛或者训练周期数结束。
-
公开(公告)号：CN112395213A
公开(公告)日：2021-02-23
申请号：CN202011296272.2
申请日：2020-11-18
IPC: G06F12/02
Abstract: 本发明公开了一种基于内存面向热点数据的ACEH索引结构及方法，结构包括：目录项、段和数据桶；方法包括：目录项通过全局深度G进行段索引，一个段对应一组数据桶，段通过局部深度L进行数据桶索引，L＝G‑log2k，k表示指向该数据桶的指针数，所述数据桶索引采用Adjusted‑Cuckoo算法定位哈希键插入的数据桶，Adjusted‑Cuckoo算法包含两个哈希函数，产生两个可插入的数据桶，然后选择空余的数据桶进行插入，Adjusted‑Cuckoo算法确定一个数据桶，第二个数据桶则直接确定为当前数据桶的下一个数据桶，操作方法包括如下步骤：步骤一，插入操作；步骤二，刷新操作；步骤三，分裂操作；步骤四，删除操作。
-
-
-
-
-
-
-
-
Search Results
30
records
(took 0.024 seconds)
