-
-
公开(公告)号:CN112348173A
公开(公告)日:2021-02-09
申请号:CN202011269859.4
申请日:2020-11-13
Applicant: 南开大学
Abstract: 本发明公开了一种移动平台上CNN流水线优化方法,包括:确认卷积层和完全连接层为任何CNN模型的推理过程中的性能的主要构建层;为卷积层和全连接层建立基于决策树的性能预测模型,性能预测模型能够预测运行在不同类型的移动处理器上的层执行时间;提出层到处理器的映射算法,根据性能预测模型的结果,动态地为一个层分配处理器资源,将一个或多个层映射到一个或一组处理器上,以构建一个优化的流水线来运行推理模型;混合使用移动GPU和异构移动CPU为推理模型构建层的流水线阶段。本发明解决了移动平台上CNN流水线推理时,系统吞吐量并没有优化的问题,为CNN模型推理层优化分配处理器资源,实现高吞吐量。
-