公开(公告)号：CN116167418A

公开(公告)日：2023-05-26

申请号：CN202211426963.9

申请日：2022-11-14

Applicant: 北京航空航天大学 ,  北京三快在线科技有限公司

Inventor： 刘祥龙 ,  丁一芙 ,  秦浩桐 ,  闫青华 ,  柴振华 ,  刘俊杰 ,  魏晓林

IPC: G06N3/0495 ,  G06N3/082

Abstract: 本发明公开了一种视觉神经网络模型的量化方法及其装置。该量化方法包括如下步骤：根据视觉神经网络模型的模型结构，确定模型结构维度上的量化误差；消除量化误差中第一误差，得到第二误差；其中，第一误差对视觉神经网络模型的输出结果影响小于第二误差对于对视觉神经网络模型的输出结果；根据第二误差，确定量化参数，并根据量化参数确定视觉神经网络模型的模型参数，以完成视觉神经网络模型的量化，从而使得部署有量化组件的视觉神经网络模型对视觉图像进行图像处理，得到处理结果。

公开(公告)号：CN113887719B

公开(公告)日：2023-04-28

申请号：CN202111067265.X

申请日：2021-09-13

Applicant: 北京三快在线科技有限公司

Inventor： 刘俊杰 ,  祝升 ,  陈晓涛 ,  柴振华 ,  刘哲 ,  魏晓林

IPC: G06N3/082 ,  G06N3/04 ,  G06F17/16

Abstract: 本说明书公开了一种模型压缩方法及装置，可先获取已训练完成的神经网络模型，并针对该神经网络模型中的每个嵌入层，确定该嵌入层的嵌入矩阵以及该嵌入层的基准矩阵。之后，以该嵌入矩阵的行数与基准矩阵的行数为约束，构建索引矩阵，并基于该嵌入层的索引矩阵与基准矩阵，确定该嵌入层的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵与索引矩阵中的参数，并基于调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，用于部署至终端中执行业务。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标，得到各嵌入层压缩后的基准矩阵与索引矩阵，极大降低了模型压缩的数据量。

公开(公告)号：CN114972909A

公开(公告)日：2022-08-30

申请号：CN202210530127.9

申请日：2022-05-16

Applicant: 北京三快在线科技有限公司

Inventor： 马鑫 ,  刘俊杰 ,  柴振华 ,  蔡剑成 ,  黄冉冉 ,  刘新民

IPC: G06V10/774 ,  G06V10/75 ,  G06V10/40 ,  G06T9/00 ,  G09B29/00

Abstract: 本说明书公开了一种模型训练的方法、构建地图的方法及装置，服务器获取到第一图像和第二图像，并确定出第一图像和第二图像中包含的各图像特征点之间的匹配关系。在获取到第一图像和第二图像后，服务器将第一图像和第二图像输入到待训练的匹配模型中，以将第一图像和第二图像中包含的每个图像特征点的原始描述特征进行压缩，并针对第一图像中包含的每个图像特征点，确定该图像特征点的压缩描述特征，和在第二图像中与该图像特征点具有匹配关系的图像特征点的压缩描述特征之间的匹配度，作为第一匹配度。以最大化第一匹配度为优化目标，对匹配模型进行训练。

公开(公告)号：CN113011581A

公开(公告)日：2021-06-22

申请号：CN202110210314.4

申请日：2021-02-23

Applicant: 北京三快在线科技有限公司

Inventor： 刘俊杰 ,  柴振华 ,  李圣喜

IPC: G06N3/08 ,  G06N3/04

Abstract: 本发明公开了一种神经网络模型压缩方法、装置、电子设备及可读存储介质。其中，该方法包括：将待压缩神经网络输入至预先训练完成的压缩模型，其中，压缩模型包括通道剪枝模块以及自蒸馏量化模块；通过通道剪枝模块对待压缩神经网络进行通道剪枝操作，以得到第一输出；通过自蒸馏量化模块对第一输出进行自蒸馏量化操作，以得到目标神经网络。本发明解决了相关技术中压缩后的神经网络模型产生较大的精度损失的技术问题。

公开(公告)号：CN114972909B

公开(公告)日：2024-10-25

申请号：CN202210530127.9

申请日：2022-05-16

Applicant: 北京三快在线科技有限公司

Inventor： 马鑫 ,  刘俊杰 ,  柴振华 ,  蔡剑成 ,  黄冉冉 ,  刘新民

IPC: G06V10/774 ,  G06V10/75 ,  G06V10/40 ,  G06T9/00 ,  G09B29/00

Abstract: 本说明书公开了一种模型训练的方法、构建地图的方法及装置，服务器获取到第一图像和第二图像，并确定出第一图像和第二图像中包含的各图像特征点之间的匹配关系。在获取到第一图像和第二图像后，服务器将第一图像和第二图像输入到待训练的匹配模型中，以将第一图像和第二图像中包含的每个图像特征点的原始描述特征进行压缩，并针对第一图像中包含的每个图像特征点，确定该图像特征点的压缩描述特征，和在第二图像中与该图像特征点具有匹配关系的图像特征点的压缩描述特征之间的匹配度，作为第一匹配度。以最大化第一匹配度为优化目标，对匹配模型进行训练。

公开(公告)号：CN115034386A

公开(公告)日：2022-09-09

申请号：CN202210713986.1

申请日：2022-06-22

Applicant: 北京三快在线科技有限公司

Inventor： 马鑫 ,  刘俊杰 ,  柴振华

IPC: G06N3/08 ,  G06N3/04

Abstract: 本说明书公开了一种业务执行的方法、装置、存储介质及电子设备，该业务执行的方法包括：获取待处理模型，所述待处理模型中包含有骨干网络和头部网络，对所述待处理模型中包含的骨干网络进行剪枝处理，得到压缩后骨干网络，将所述压缩后骨干网络以及所述头部网络进行拼接，得到压缩后模型，针对同一样本数据，以最小化所述压缩后模型中位于所述头部网络之前的指定网络层输出的特征，与所述待处理模型中位于所述头部网络之前的所述指定网络层输出的特征之间的偏差为优化目标，对所述压缩后模型进行优化，得到优化后模型并部署。

公开(公告)号：CN113011581B

公开(公告)日：2023-04-07

申请号：CN202110210314.4

申请日：2021-02-23

Applicant: 北京三快在线科技有限公司

Inventor： 刘俊杰 ,  柴振华 ,  李圣喜

IPC: G06N3/082 ,  G06N3/04

Abstract: 本发明公开了一种神经网络模型压缩方法、装置、电子设备及可读存储介质。其中，该方法包括：将待压缩神经网络输入至预先训练完成的压缩模型，其中，压缩模型包括通道剪枝模块以及自蒸馏量化模块；通过通道剪枝模块对待压缩神经网络进行通道剪枝操作，以得到第一输出；通过自蒸馏量化模块对第一输出进行自蒸馏量化操作，以得到目标神经网络。本发明解决了相关技术中压缩后的神经网络模型产生较大的精度损失的技术问题。

公开(公告)号：CN113887719A

公开(公告)日：2022-01-04

申请号：CN202111067265.X

申请日：2021-09-13

Applicant: 北京三快在线科技有限公司

Inventor： 刘俊杰 ,  祝升 ,  陈晓涛 ,  柴振华 ,  刘哲 ,  魏晓林

IPC: G06N3/08 ,  G06N3/04 ,  G06F17/16

Abstract: 本说明书公开了一种模型压缩方法及装置，可先获取已训练完成的神经网络模型，并针对该神经网络模型中的每个嵌入层，确定该嵌入层的嵌入矩阵以及该嵌入层的基准矩阵。之后，以该嵌入矩阵的行数与基准矩阵的行数为约束，构建索引矩阵，并基于该嵌入层的索引矩阵与基准矩阵，确定该嵌入层的重构矩阵。最后，以最小化该嵌入层的嵌入矩阵与重构矩阵之间的差异为目标，调整基准矩阵与索引矩阵中的参数，并基于调整后的各基准矩阵与各索引矩阵，确定压缩后的神经网络模型，用于部署至终端中执行业务。以模型中各嵌入层的嵌入矩阵与重构矩阵之间的差异为优化目标，得到各嵌入层压缩后的基准矩阵与索引矩阵，极大降低了模型压缩的数据量。