公开(公告)号：CN114662661A

公开(公告)日：2022-06-24

申请号：CN202210282401.5

申请日：2022-03-22

Applicant: 东南大学

Inventor： 东方 ,  蔡光兴 ,  沈典 ,  王慧田 ,  张竞慧

IPC: G06N3/04 ,  G06N3/08

Abstract: 本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。

公开(公告)号：CN114662661B

公开(公告)日：2024-04-16

申请号：CN202210282401.5

申请日：2022-03-22

Applicant: 东南大学

Inventor： 东方 ,  蔡光兴 ,  沈典 ,  王慧田 ,  张竞慧

IPC: G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。

公开(公告)号：CN111445026A

公开(公告)日：2020-07-24

申请号：CN202010180260.7

申请日：2020-03-16

Applicant: 东南大学

Inventor： 东方 ,  王慧田 ,  沈典 ,  蔡光兴 ,  黄兆武

IPC: G06N5/04 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。

公开(公告)号：CN111445026B

公开(公告)日：2023-08-22

申请号：CN202010180260.7

申请日：2020-03-16

Applicant: 东南大学

Inventor： 东方 ,  王慧田 ,  沈典 ,  蔡光兴 ,  黄兆武

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。