-
公开(公告)号：CN114662661B
公开(公告)日：2024-04-16
申请号：CN202210282401.5
申请日：2022-03-22
Applicant: 东南大学
IPC: G06N3/0464 , G06N3/08
Abstract: 本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。
-
Patent Agency Ranking
公开(公告)号：CN111445026A
公开(公告)日：2020-07-24
申请号：CN202010180260.7
申请日：2020-03-16
Applicant: 东南大学
Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。
-
公开(公告)号：CN113723279B
公开(公告)日：2022-11-01
申请号：CN202111000951.5
申请日：2021-08-30
Applicant: 东南大学
Abstract: 本发明公开了一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，属于边缘计算、视频分析和深度学习领域。该方法包括：步骤1、利用TensorRT推理优化框架对执行多目标跟踪的深度神经网络模型进行结构优化；步骤2、使用基于时空间优化的实时多目标跟踪算法执行模式对多目标跟踪任务执行进行加速；步骤3、针对基于时空间优化的实时多目标跟踪算法中特征提取部分的深度学习推理，建立并求解自适应的端边协同数据并行模型；步骤4、基于步骤3所执行的端边协同数据并行模型，将其结果在进行合并并完成后处理计算，输出多目标跟踪结果。本方法的应用提升了目前目标跟踪视频分析系统的执行速度并最大化利用了系统内的计算资源。
-
公开(公告)号：CN114662661A
公开(公告)日：2022-06-24
申请号：CN202210282401.5
申请日：2022-03-22
Applicant: 东南大学
Abstract: 本发明公开一种边缘计算下异构处理器加速多出口DNN(Deep Neural Networks)推理的方法，首先针对不同负载下的CPU与GPU，分别统计深度神经网络各层在CPU、GPU上的计算成本、各层提前退出分支出口的分类能力以及各网络层中间数据量大小；然后分析数据，得出特定负载情况下，将深度神经网络各层分配给CPU(GPU)处理器的最优并行组合模型；最后在终端设备上在线监测分析CPU、GPU的负载情况、以及当前的计算能力，以最小化推理时延为目标对深度神经网络推理任务进行切分，任务切块分别被分配在GPU与CPU，最终形成基于异构处理器的推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。
-
公开(公告)号：CN113723279A
公开(公告)日：2021-11-30
申请号：CN202111000951.5
申请日：2021-08-30
Applicant: 东南大学
Abstract: 本发明公开了一种边缘计算环境中基于时空间优化的多目标跟踪加速方法，属于边缘计算、视频分析和深度学习领域。该方法包括：步骤1、利用TensorRT推理优化框架对执行多目标跟踪的深度神经网络模型进行结构优化；步骤2、使用基于时空间优化的实时多目标跟踪算法执行模式对多目标跟踪任务执行进行加速；步骤3、针对基于时空间优化的实时多目标跟踪算法中特征提取部分的深度学习推理，建立并求解自适应的端边协同数据并行模型；步骤4、基于步骤3所执行的端边协同数据并行模型，将其结果在进行合并并完成后处理计算，输出多目标跟踪结果。本方法的应用提升了目前目标跟踪视频分析系统的执行速度并最大化利用了系统内的计算资源。
-
公开(公告)号：CN111445026B
公开(公告)日：2023-08-22
申请号：CN202010180260.7
申请日：2020-03-16
Applicant: 东南大学
IPC: G06N5/04 , G06N3/0464 , G06N3/08
Abstract: 本发明公开一种面向边缘智能应用的深度神经网络多路径推理加速方法，首先分析深度神经网络各层设置提前退出分支出口的分类能力与计算成本，选择推理效益最大的出口组合添加至原模型；然后在出口与主干层之间设置门限单元并加以训练，判断任务是否能在当前出口退出；对于无法在终端层提前退出而必须传输至边缘层的任务，压缩其中间特征数据；最后在边缘计算环境下在线监测分析网络负载和终端、边缘设备的计算能力，以最小化推理时延为目标对多路径模型进行切割，模型切块分别部署在终端层与边缘层，最终形成多路径推理加速框架。此种方法能够提高推理的灵活性，保证准确率，降低推理总时延，满足边缘智能应用的实时性与高精度需求。
-
-
-
-
-
Search Results
6
records
(took 0.015 seconds)
