公开(公告)号：CN116304145A

公开(公告)日：2023-06-23

申请号：CN202310298214.0

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  孙晓帅 ,  马祎炜 ,  钱志鹏 ,  纪家沂

IPC: G06F16/532 ,  G06F18/22 ,  G06V10/82 ,  G06V10/42 ,  G06V10/44 ,  G06F40/279 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/08

Abstract: 基于文本的人物检索的双向一对多嵌入对齐方法，涉及人物检索方法。1)使用预训练好的ResNet‑50主干网络提取图片特征，使用预训练好的BERT及可训练的Bi‑LSTM模型提取获取全局的视觉与文本特征；2)将视觉特征V均匀分割成K个不重叠部分，采用单词注意模块获得K个不同的文本特征，获取视觉局部特征与文本局部特征；3)建立非局部模块，基于余弦相似性得到非局部的视觉特征和语言特征；4)建立一种全新的双向一对多嵌入范式，具体分为双向嵌入和一对多嵌入两块功能；5)采用身份损失和复合排序损失，两者相加构造整体损失函数进行优化。模型能确定优化方向，同时解决图文对一对多的匹配问题。

公开(公告)号：CN116306872A

公开(公告)日：2023-06-23

申请号：CN202310298351.4

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  郑侠武 ,  陈柄翰 ,  武凡

IPC: G06N3/08 ,  G06N3/096 ,  G06N3/084 ,  G06N3/04 ,  G06V10/764 ,  G06V10/82

Abstract: 一种对齐不同结构分类神经网络类别精度的方法，涉及计算机视觉。包括以下步骤：1)预训练：利用早期版本数据集对新结构的模型进行预训练以优化模型权重；2)知识蒸馏：利用神经网络知识蒸馏技术进行新老模型间的知识迁移；3)微调全连接层：利用权重冻结技术，冻结神经网络浅层参数，对全连接层部分精度较差的类别进行微调。通过简单的训练方式对齐不同神经网络模型针对相同数据集的各类别精度，有效降低新模型相比于原模型的各类别精度差异。

公开(公告)号：CN116306871A

公开(公告)日：2023-06-23

申请号：CN202310298282.7

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  曹刘娟 ,  费翔 ,  郑侠武

IPC: G06N3/08 ,  G06N3/0464 ,  G06N5/04

Abstract: 一种基于重参数化网络的迭代式训练方法，涉及网络结构设计。1)对于给定的重参数化网络结构，设定用于知识蒸馏训练方法的教师网络、最大迭代次数、最大递归深度及每次的迭代次数；2)初始化网络权重或从已收敛的网络中加载预训练权重；3)设定好迭代次数上限，将用于推理的网络重新拓展到用于训练的网络；4)新扩充的分支在满足约束条件下初始化，从数据集中随机抽取部分数据用于前向推理，对各并行分支的BN层参数校正；5)利用教师网络知识蒸馏训练；6)利用重参数化技术无损合并为单分支的纯卷积网络；7)若达到最大递归循环次数或性能已满足需求，则步骤6)所得网络为最终用于部署的网络；反之，则回步骤3)，重复上述训练过程。