公开(公告)号：CN119476419A

公开(公告)日：2025-02-18

申请号：CN202411615432.3

申请日：2024-11-13

Applicant: 哈尔滨工业大学

Inventor： 郝萌 ,  王法瑞 ,  张伟哲 ,  杨思宇 ,  杨洪伟 ,  何慧

IPC: G06N3/10 ,  G06N3/063 ,  G06F9/50 ,  G06N3/08

Abstract: 本发明公开了一种多加速器异构SoC平台上深度学习负载映射优化方法及系统，涉及计算机性能能耗协同优化技术领域，用以提高深度学习推理应用的性能同时降低能耗。本发明的技术要点包括：首先提取有性能或能耗优化潜力的子网络；接着测量融合节点和子网络的性能和能耗数据；再建立解析的性能和能耗预测模型，以预测不同映射配置下推理引擎的运行时间和能耗；之后使用基于变长滑动窗口的映射优化算法搜索性能‑能耗更优的映射配置；最后生成推理引擎并遍历搜索最优的CUDA stream数量。本发明无需用户干预，可以全自动地找到性能‑能耗更优的映射配置并生成推理引擎。与现有的JEDI等方法相比，本发明性能提升更多，能耗节省也更多，同时优化过程所需时间也更短。