公开(公告)号：CN115392467B

公开(公告)日：2024-02-09

申请号：CN202211040427.5

申请日：2022-08-29

Applicant: 北京交通大学

Inventor： 刘真 ,  寇泽 ,  冯铭泽 ,  贺翔

IPC: G06N5/043 ,  G06N3/042 ,  G06N3/0495 ,  G06N3/082 ,  G06N3/10 ,  G06F9/50

Abstract: 本发明提供了一种面向海量数据实时处理的云边协同自适应深度推理方法。该方法包括：将DNN模型进行模型量化，根据得到的量化模型对DNN模型进行DAG构建；对DAG网络进行可行分割点的搜索，得到优化后的潜在分割点集；基于优化后的潜在分割点集对DNN模型各层在终端设备上运行的累积推理延迟、数据传输延迟和累积量化损失进行数据拟合，利用以带宽为变量的权重函数对DNN模型各层的累积推理延迟、数据传输延迟和累积量化损失的目标函数进行加权优化，得到最优的分割点；根据所述最优分割点将DNN模型进行分割。本发明考虑到模型量化带来的精度损失，将精度损失和时延根据网络质量的变化进行加权优化，以满足用户在不同的网络质量下对服务质量的不同需求。

公开(公告)号：CN115392467A

公开(公告)日：2022-11-25

申请号：CN202211040427.5

申请日：2022-08-29

Applicant: 北京交通大学

Inventor： 刘真 ,  寇泽 ,  冯铭泽 ,  贺翔

IPC: G06N5/04 ,  G06N3/04 ,  G06N3/08 ,  G06N3/10 ,  G06F9/50

Abstract: 本发明提供了一种面向海量数据实时处理的云边协同自适应深度推理方法。该方法包括：将DNN模型进行模型量化，根据得到的量化模型对DNN模型进行DAG构建；对DAG网络进行可行分割点的搜索，得到优化后的潜在分割点集；基于优化后的潜在分割点集对DNN模型各层在终端设备上运行的累积推理延迟、数据传输延迟和累积量化损失进行数据拟合，利用以带宽为变量的权重函数对DNN模型各层的累积推理延迟、数据传输延迟和累积量化损失的目标函数进行加权优化，得到最优的分割点；根据所述最优分割点将DNN模型进行分割。本发明考虑到模型量化带来的精度损失，将精度损失和时延根据网络质量的变化进行加权优化，以满足用户在不同的网络质量下对服务质量的不同需求。