公开(公告)号：CN117574973A

公开(公告)日：2024-02-20

申请号：CN202311580204.2

申请日：2023-11-24

Applicant: 中国科学院计算技术研究所 ,  上海处理器技术创新中心

Inventor： 刘涛 ,  贾伟乐 ,  谭光明 ,  孙凝晖 ,  董翔

IPC: G06N3/0495 ,  G06N3/045 ,  G06N3/042 ,  G06N5/04 ,  G06F18/2433 ,  G16C20/70 ,  G16C20/10 ,  G16C10/00

Abstract: 本发明提出一种原子间势能面模型的离群点感知自适应混合精度量化方法和系统，通过对不同阶数项系数使用不同数据宽度的混合精度量化，本发明提出的离群点感知的量化方法可以有效的提高量化表示的效率；本发明提出了对由量化带来的多项式表示的误差进行系统性控制的机制与方法，并提出在误差控制的约束下实现对不同阶数项系数混合精度量化的最优量化精度自适应选择方法。本发明通过对原子间势能模型多项式系数表的数据分析，自适应地给出最优的混合精度量化方案并依据此方案对多项式系数表执行离群点感知的混合精度量化操作，提高原子间势能模型的推理规模与推理速度。

公开(公告)号：CN118643886A

公开(公告)日：2024-09-13

申请号：CN202410725259.6

申请日：2024-06-06

Applicant: 中国科学院计算技术研究所

Inventor： 赵曈 ,  李佳诚 ,  贾伟乐 ,  谭光明

IPC: G06N3/084 ,  G06N3/0499

Abstract: 本发明提供了一种用于大批量训练的优化器，包括：梯度获取模块，用于获取批量样本下预设的损失函数的梯度gk，k表示迭代步数；加速度计算模块，用于计算梯度gk与梯度gk‑1的差值的指数移动平均，得到加速度ak，其中，梯度gk‑1为迭代步数为k‑1时的梯度；动量计算模块，用于计算梯度gk和加速度ak的加权和的指数移动平均，得到动量mk；二阶矩计算模块，用于计算梯度gk和加速度ak的加权和的平方的指数移动平均，得到二阶矩vk；等效动量计算模块，用于根据动量mk、二阶矩vk和模型的参数确定等效动量rk；参数更新模块，用于根据等效动量rk更新模型的参数。

公开(公告)号：CN116866351A

公开(公告)日：2023-10-10

申请号：CN202310639528.2

申请日：2023-06-01

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  赵曈 ,  马俊杰 ,  贾伟乐 ,  邵恩 ,  谭光明 ,  孙凝晖

IPC: H04L67/1008 ,  H04L67/1012 ,  H04L67/60 ,  G06N3/092

Abstract: 本发明提出一种基于强化学习的云计算作业可共置执行方法，包括：以神经网络构建策略模型，设置该策略模型的强化学习参数，基于云计算任务的单个作业和组合作业，对该策略模型进行强化学习训练；生成该云计算任务的批作业，通过该策略模型获取该批作业的执行策略，并根据该执行策略，将该批作业进行分配并执行。本发明还提出一种基于强化学习的云计算作业可共置执行系统，以及一种用于云计算作业可共置执行的数据处理装置。