-
公开(公告)号：CN118868077B
公开(公告)日：2025-02-18
申请号：CN202411095327.1
申请日：2024-08-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于动态电压频率调整的能源效率优化方法，包括：在大型语言模型的离线状态下，对不同负载大小的数据进行能耗测试，得到不同动态电压频率调整配置下的能耗表现；根据得到的不同动态电压频率调整配置下的能耗表现，确定各个批量在预填充阶段和解码阶段的最佳动态电压频率调整配置；根据确定的最佳动态电压频率调整配置调整图形处理器内核频率和内存频率，以对大型语言模型推理的能源效率进行优化；本发明提出了一种基于动态电压频率调节（DVFS）的优化方案，针对大模型推理的预填充阶段和解码阶段，分别应用不同的动态电压频率调整配置以实现能耗优化。
-
公开(公告)号：CN118868077A
公开(公告)日：2024-10-29
申请号：CN202411095327.1
申请日：2024-08-12
Applicant: 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)
Abstract: 本发明公开了一种基于动态电压频率调整的能源效率优化方法，包括：在大型语言模型的离线状态下，对不同负载大小的数据进行能耗测试，得到不同动态电压频率调整配置下的能耗表现；根据得到的不同动态电压频率调整配置下的能耗表现，确定各个批量在预填充阶段和解码阶段的最佳动态电压频率调整配置；根据确定的最佳动态电压频率调整配置调整图形处理器内核频率和内存频率，以对大型语言模型推理的能源效率进行优化；本发明提出了一种基于动态电压频率调节（DVFS）的优化方案，针对大模型推理的预填充阶段和解码阶段，分别应用不同的动态电压频率调整配置以实现能耗优化。
-
Search Results
2
records
(took 0.042 seconds)
