公开(公告)号：CN118643886A

公开(公告)日：2024-09-13

申请号：CN202410725259.6

申请日：2024-06-06

Applicant: 中国科学院计算技术研究所

Inventor： 赵曈 ,  李佳诚 ,  贾伟乐 ,  谭光明

IPC: G06N3/084 ,  G06N3/0499

Abstract: 本发明提供了一种用于大批量训练的优化器，包括：梯度获取模块，用于获取批量样本下预设的损失函数的梯度gk，k表示迭代步数；加速度计算模块，用于计算梯度gk与梯度gk‑1的差值的指数移动平均，得到加速度ak，其中，梯度gk‑1为迭代步数为k‑1时的梯度；动量计算模块，用于计算梯度gk和加速度ak的加权和的指数移动平均，得到动量mk；二阶矩计算模块，用于计算梯度gk和加速度ak的加权和的平方的指数移动平均，得到二阶矩vk；等效动量计算模块，用于根据动量mk、二阶矩vk和模型的参数确定等效动量rk；参数更新模块，用于根据等效动量rk更新模型的参数。

公开(公告)号：CN116866351A

公开(公告)日：2023-10-10

申请号：CN202310639528.2

申请日：2023-06-01

Applicant: 中国科学院计算技术研究所

Inventor： 周悦媛 ,  赵曈 ,  马俊杰 ,  贾伟乐 ,  邵恩 ,  谭光明 ,  孙凝晖

IPC: H04L67/1008 ,  H04L67/1012 ,  H04L67/60 ,  G06N3/092

Abstract: 本发明提出一种基于强化学习的云计算作业可共置执行方法，包括：以神经网络构建策略模型，设置该策略模型的强化学习参数，基于云计算任务的单个作业和组合作业，对该策略模型进行强化学习训练；生成该云计算任务的批作业，通过该策略模型获取该批作业的执行策略，并根据该执行策略，将该批作业进行分配并执行。本发明还提出一种基于强化学习的云计算作业可共置执行系统，以及一种用于云计算作业可共置执行的数据处理装置。