公开(公告)号：CN110457503B

公开(公告)日：2022-03-25

申请号：CN201910701690.6

申请日：2019-07-31

Applicant: 北京大学

Inventor： 张超 ,  苏树鹏 ,  韩凯 ,  田永鸿

IPC: G06F16/53 ,  G06N3/04 ,  G06N3/08 ,  G06T9/00

Abstract: 本发明公布了一种快速优化深度哈希图像编码方法及目标图像检索方法，基于贪心策略，针对大型图像数据集，建立哈希图像编码模型，通过优化后得到的深度哈希编码网络生成所有图像的二值编码。在进行目标图像检索时，可通过计算查询图像编码和数据库图像编码之间的汉明距离，迅速得到查询图像的同类相似图像。本发明方法结合神经网络更好地解决了梯度消失和量化误差问题，编码性能更优；用更少的迭代次数完成深度网络的训练过程，训练速度更快；能应用于各种带离散约束的问题，应用范围更广；进一步提高深度神经网络的优化速度和所生成图像编码的检索性能，有效提高了大型图像数据库的检索精度。

公开(公告)号：CN117808067A

公开(公告)日：2024-04-02

申请号：CN202211166260.7

申请日：2022-09-23

Applicant: 华为技术有限公司 ,  北京大学

Inventor： 唐业辉 ,  韩凯 ,  刘传建 ,  李思毅 ,  许超 ,  王云鹤

IPC: G06N3/082

Abstract: 本申请涉及一种神经网络剪枝方法及装置，该方法包括：根据收敛模型的第一权值和对照模型的第二权值确定出初始模型的初始权值中对完成目标任务起反作用的目标权值，收敛模型为基于初始模型训练得到的能够完成目标任务的模型，对照模型为基于初始模型训练得到的对完成目标任务起反作用的模型，初始模型为神经网络模型；利用目标权值对初始模型进行剪枝，形成初始模型的稀疏子网，稀疏子网的权值不包括目标权值。提高了剪枝的可靠性，并能够基于稀疏子网获得准确率更高、计算量更小、参数量更少的紧凑的任务模型。

公开(公告)号：CN117409093A

公开(公告)日：2024-01-16

申请号：CN202311251217.5

申请日：2023-09-22

Applicant: 华为技术有限公司 ,  北京大学

Inventor： 唐业辉 ,  那天行 ,  韩凯 ,  聂迎 ,  王云鹤 ,  许超 ,  张超

IPC: G06T9/00 ,  G06N3/042

Abstract: 本申请公开了一种特征块的压缩方法及相关设备，该方法包括：获取编码器中的注意力层输出的多个特征块；获取每两个特征块之间的第一参数；基于每两个特征块之间的第一参数，确定每个特征块的第二参数；基于每个特征块的第二参数，从多个特征块中确定出对任务重要程度较高的至少一个第一特征块；将多个特征块中的至少一个第二特征块融合到至少一个第一特征块中；至少一个第二特征块为多个图像块中除至少一个第一特征块之外的特征块。本申请实施例能够压缩特征块的数量，提升模型的推理效率。

公开(公告)号：CN110457503A

公开(公告)日：2019-11-15

申请号：CN201910701690.6

申请日：2019-07-31

Applicant: 北京大学

Inventor： 张超 ,  苏树鹏 ,  韩凯 ,  田永鸿

IPC: G06F16/53 ,  G06N3/04 ,  G06N3/08 ,  G06T9/00

Abstract: 本发明公布了一种快速优化深度哈希图像编码方法及目标图像检索方法，基于贪心策略，针对大型图像数据集，建立哈希图像编码模型，通过优化后得到的深度哈希编码网络生成所有图像的二值编码。在进行目标图像检索时，可通过计算查询图像编码和数据库图像编码之间的汉明距离，迅速得到查询图像的同类相似图像。本发明方法结合神经网络更好地解决了梯度消失和量化误差问题，编码性能更优；用更少的迭代次数完成深度网络的训练过程，训练速度更快；能应用于各种带离散约束的问题，应用范围更广；进一步提高深度神经网络的优化速度和所生成图像编码的检索性能，有效提高了大型图像数据库的检索精度。