公开(公告)号：CN118868077A

公开(公告)日：2024-10-29

申请号：CN202411095327.1

申请日：2024-08-12

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 侯帅 ,  王强 ,  施少怀

IPC: H02J3/00 ,  H02J3/24 ,  G01R23/02

Abstract: 本发明公开了一种基于动态电压频率调整的能源效率优化方法，包括：在大型语言模型的离线状态下，对不同负载大小的数据进行能耗测试，得到不同动态电压频率调整配置下的能耗表现；根据得到的不同动态电压频率调整配置下的能耗表现，确定各个批量在预填充阶段和解码阶段的最佳动态电压频率调整配置；根据确定的最佳动态电压频率调整配置调整图形处理器内核频率和内存频率，以对大型语言模型推理的能源效率进行优化；本发明提出了一种基于动态电压频率调节（DVFS）的优化方案，针对大模型推理的预填充阶段和解码阶段，分别应用不同的动态电压频率调整配置以实现能耗优化。

公开(公告)号：CN118093208B

公开(公告)日：2024-07-26

申请号：CN202410510424.6

申请日：2024-04-26

Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

Inventor： 王强 ,  罗翊洲 ,  施少怀

IPC: G06F9/50 ,  G06T1/20 ,  G06N3/063

Abstract: 本发明公开了一种多用户GPU集群的深度学习任务调度方法，包括：构建深度学习任务对象，并将对应的深度学习任务发射到集群中；获取每个已发射任务的状态，并根据调度器的信号或任务本身状态的变化修改对应的任务状态；获取所述集群中的资源状态，并根据所述集群的反馈信息确定每个已发射任务对应的资源占用情况；根据每个已发射任务对应的资源占用情况和任务状态，利用短任务优先的资源共享策略对待分配任务进行资源分配；本发明依靠短任务优先的资源共享策略，在缓解任务资源饥饿问题的同时，降低了整体的任务完成时间，提高了深度学习任务的调度效率。

公开(公告)号：CN116226662B

公开(公告)日：2024-02-09

申请号：CN202310012741.0

申请日：2023-01-05

Applicant: 哈尔滨工业大学(深圳)

Inventor： 漆舒汉 ,  张书豪 ,  王轩 ,  张加佳 ,  吴宇琳 ,  王强 ,  施少怀 ,  侯晓涵

IPC: G06F18/214 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多智能体协同强化学习方法、终端及存储介质，方法包括：获取环境参数，构造模拟环境，并根据环境参数以及智能体数目确定学习者智能体；根据任务需求构造对应数量的工作者智能体，并根据任务需求构造对应数量的行动者智能体；其中，每个工作者智能体用于与多个行动者智能体进行交互，每个行动者智能体分别与一个独立的模拟环境交互；获取样本数据，根据样本数据对学习者智能体进行训练，得到训练后的模型参数；通过学习者智能体定期将训练后的模型参数更新到共享内存中，并通过工作者智能体定期从共享内存中更新决策网络的参数，得到强化学习后的策略。本发明提高了多智能体的强化学习过程中的样本利用率及样本数量。

公开(公告)号：CN116226662A

公开(公告)日：2023-06-06

申请号：CN202310012741.0

申请日：2023-01-05

Applicant: 哈尔滨工业大学(深圳)

Inventor： 漆舒汉 ,  张书豪 ,  王轩 ,  张加佳 ,  吴宇琳 ,  王强 ,  施少怀 ,  侯晓涵

IPC: G06F18/214 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种多智能体协同强化学习方法、终端及存储介质，方法包括：获取环境参数，构造模拟环境，并根据环境参数以及智能体数目确定学习者智能体；根据任务需求构造对应数量的工作者智能体，并根据任务需求构造对应数量的行动者智能体；其中，每个工作者智能体用于与多个行动者智能体进行交互，每个行动者智能体分别与一个独立的模拟环境交互；获取样本数据，根据样本数据对学习者智能体进行训练，得到训练后的模型参数；通过学习者智能体定期将训练后的模型参数更新到共享内存中，并通过工作者智能体定期从共享内存中更新决策网络的参数，得到强化学习后的策略。本发明提高了多智能体的强化学习过程中的样本利用率及样本数量。