-
公开(公告)号：CN115062784A
公开(公告)日：2022-09-16
申请号：CN202210666123.3
申请日：2022-06-13
Applicant: 中国科学院软件研究所
Abstract: 本发明公开一种针对神经网络算子融合的端云协同推理方法及装置，所述方法包括将神经网络转换为有向无环图；将所述有向无环图切分为若干链式结构；对每一链式结构中的所述网络层进行融合操作，并使用得到的融合块替代被融合的网络层；依据待推理数据，预测每一融合块与每一未融合网络层的推理时间与输出数据大小，并根据所述输出数据大小与端云之间的网络带宽，计算中间数据传输时间；基于所述推理时间与所述中间数据传输时间，切分所述神经网络，并基于切分结果进行端云协同推理。本发明解决了具有可融合算子的网络模型的最小时延问题。
-
公开(公告)号：CN115130649A
公开(公告)日：2022-09-30
申请号：CN202210368166.3
申请日：2022-04-08
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向流水线分布式端云协同推理的深度学习模型划分方法和装置。该方法是一种面向视频帧流推理的机器学习模型分割方法，整个推理过程分为边缘设备推理、数据传输、云端设备推理三个部分，能以流水线的形式在边缘侧与云端分布式执行推理过程。将机器学习中的深度神经网络模型，根据约束三部分延迟的方法找到最优分割点，把模型分割为两部分。本发明公开了模型分割的完整方案以及分割模型所使用的算法及原理，通过边缘设备与云端的协同，找到最优的模型分割方案，提高整个推理系统的吞吐率。
-
公开(公告)号：CN115048218A
公开(公告)日：2022-09-13
申请号：CN202210650520.1
申请日：2022-06-09
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种边缘异构场景中的端云协同推理方法和系统。该方法包括离线和在线的两个阶段。在离线阶段，得到各个节点CPU以及内存占用率与神经网络每层推理时间的逻辑回归函数。在线阶段动态获取CPU与内存使用率，实时更新当前CPU和内存压力值下的神经网络各层的执行时间，根据此时间选择最佳模型划分点与最优节点，以达到最大的系统吞吐量。本发明公开了一种边缘异构场景中的端云协同推理框架的组成原理，可以确定异构边缘计算系统的最佳边缘设备和模型划分点，应用于图像分类检测系统，达到系统高吞吐量要求。
-
公开(公告)号：CN114723058A
公开(公告)日：2022-07-08
申请号：CN202210369401.9
申请日：2022-04-08
Applicant: 中国科学院软件研究所
Abstract: 本发明公开了一种面向高采样率视频流分析的神经网络端云协同推理方法和装置。在面向实际的高采样率视频流场景下，通过对深度神经网络的建模分析，在将推理任务划分成边缘端/云端不同阶段的同时，完成深度神经网络模型的周期性循环划分策略，突破了目前面对高采样率视频流时的瓶颈。通过周期性循环划分策略，使边缘端/云端在指定深度神经网络模型下减少系统中的推理等待时间，达到系统的极限吞吐量，充分利用了边缘端和云端的计算能力。
-
-
-
Search Results
4
records
(took 0.019 seconds)
