公开(公告)号：CN114444808A

公开(公告)日：2022-05-06

申请号：CN202210121710.4

申请日：2022-02-09

Applicant: 北京达佳互联信息技术有限公司

Inventor： 门春雷 ,  梁志伟 ,  黄仁杰

IPC: G06Q10/04 ,  G06N3/08 ,  G06N3/04

Abstract: 本公开关于一种模型量化方法、装置、电子设备及存储介质，该方法包括：获取量化模型集合；所述量化模型集合包括至少两个量化模型；所述量化模型为对待量化模型中的至少一个目标网络层进行量化得到的；确定各所述量化模型对应的适应度；所述适应度用于表征所述量化模型的性能提升；所述量化模型的性能提升为根据所述量化模型的模型性能和预设模型的模型性能间的差异确定的；所述预设模型为对所述待量化模型中的每个网络层都进行量化得到的；所述模型性能包括模型速度和模型精度；按照各所述量化模型对应的适应度，对各所述量化模型对应的量化策略参数进行遗传算法优化，得到目标量化模型。采用本公开可以提高神经网络模型的量化效果。

公开(公告)号：CN116501466A

公开(公告)日：2023-07-28

申请号：CN202310381092.1

申请日：2023-04-11

Applicant: 北京达佳互联信息技术有限公司

Inventor： 门春雷

IPC: G06F9/48 ,  G06F9/50 ,  G06T1/20 ,  G06N5/04

Abstract: 本公开关于一种任务处理方法、装置、电子设备及存储介质，涉及计算机技术领域，该方法在当前时间进入预设的非高峰期时段的情况下，根据当前所需的在线推理实例数量，确定多个推理实例中可用于处理离线任务的推理实例的数量，得到目标数量。基于目标数量调整多个推理实例中推理实例的任务类型，以使多个推理实例中任务类型为离线类型的推理实例的数量，与目标数量一致；在任务类型为在线类型的情况下推理实例用于处理在线任务，在任务类型为离线类型的情况下推理实例用于处理离线任务。这样，可以在确保非高峰期内正常处理离线任务的同时，提高GPU的利用率。同时，可以提高在离线切换的灵活性，提高切换速度。