公开(公告)号：CN111445026B

公开(公告)日：2023-08-22

申请号：CN202010180260.7

申请日：2020-03-16

Applicant: 东南大学

Inventor： 东方 ,  王慧田 ,  沈典 ,  蔡光兴 ,  黄兆武

IPC: G06N5/04 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。

公开(公告)号：CN110347500A

公开(公告)日：2019-10-18

申请号：CN201910525863.3

申请日：2019-06-18

Applicant: 东南大学

Inventor： 东方 ,  黄兆武 ,  沈典 ,  郭晓琳 ,  罗军舟

IPC: G06F9/50

Abstract: 本发明公开一种用于边缘计算环境中面向深度学习应用的任务卸载方法，首先将深度神经网络划分为若干个模型分块，采集系统中的相关数据并分析相应的特征；将得到的特征数据作为输入参数，建立M/M/n排队模型，得到终端设备层和边缘服务器层的平均任务数的期望，及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望；以上述两个期望的最小最大值为目标函数，构建最小化任务执行时间的优化模型；使用启发式算法求解优化模型，得到最优卸载方案。此种方法能够实现针对不同的深度学习应用提出多模式，细粒度的个性化任务卸载方案，最小化任务完成时间，提高终端设备的资源利用率，从而满足高精度、低延迟的应用需求。

公开(公告)号：CN110347500B

公开(公告)日：2023-05-23

申请号：CN201910525863.3

申请日：2019-06-18

Applicant: 东南大学

Inventor： 东方 ,  黄兆武 ,  沈典 ,  郭晓琳 ,  罗军舟

IPC: G06F9/50

Abstract: 本发明公开一种用于边缘计算环境中面向深度学习应用的任务卸载方法，首先将深度神经网络划分为若干个模型分块，采集系统中的相关数据并分析相应的特征；将得到的特征数据作为输入参数，建立M/M/n排队模型，得到终端设备层和边缘服务器层的平均任务数的期望，及任务在终端设备上开始执行以及将任务直接卸载到边缘服务器上开始执行的任务完成时间期望；以上述两个期望的最小最大值为目标函数，构建最小化任务执行时间的优化模型；使用启发式算法求解优化模型，得到最优卸载方案。此种方法能够实现针对不同的深度学习应用提出多模式，细粒度的个性化任务卸载方案，最小化任务完成时间，提高终端设备的资源利用率，从而满足高精度、低延迟的应用需求。

公开(公告)号：CN111445026A

公开(公告)日：2020-07-24

申请号：CN202010180260.7

申请日：2020-03-16

Applicant: 东南大学

Inventor： 东方 ,  王慧田 ,  沈典 ,  蔡光兴 ,  黄兆武

IPC: G06N5/04 ,  G06N3/08 ,  G06N3/04

Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。