公开(公告)号：CN116306871A

公开(公告)日：2023-06-23

申请号：CN202310298282.7

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  曹刘娟 ,  费翔 ,  郑侠武

IPC: G06N3/08 ,  G06N3/0464 ,  G06N5/04

Abstract: 一种基于重参数化网络的迭代式训练方法，涉及网络结构设计。1)对于给定的重参数化网络结构，设定用于知识蒸馏训练方法的教师网络、最大迭代次数、最大递归深度及每次的迭代次数；2)初始化网络权重或从已收敛的网络中加载预训练权重；3)设定好迭代次数上限，将用于推理的网络重新拓展到用于训练的网络；4)新扩充的分支在满足约束条件下初始化，从数据集中随机抽取部分数据用于前向推理，对各并行分支的BN层参数校正；5)利用教师网络知识蒸馏训练；6)利用重参数化技术无损合并为单分支的纯卷积网络；7)若达到最大递归循环次数或性能已满足需求，则步骤6)所得网络为最终用于部署的网络；反之，则回步骤3)，重复上述训练过程。

公开(公告)号：CN114896436A

公开(公告)日：2022-08-12

申请号：CN202210671640.X

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  郑侠武 ,  晁飞 ,  费翔 ,  张雷

IPC: G06F16/53 ,  G06N3/04 ,  G06N3/08 ,  G06V10/762 ,  G06V10/774

Abstract: 一种基于表征互信息的网络结构搜索方法，涉及人工智能技术领域。在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，计算n个网络的RMI分数、q分位数τ，训练拟合随机森林分类器π；从整个神经网络搜索空间随机抽取一批新的网络，从中找到概率最大的一个网络，利用损失函数训练网络，计算其RMI分数，重新拟合训练新的随机森林模型π，判断随机森林训练样本中新网络数量是否达到N，将得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。高效、快速，并可推广到不同的搜索空间。使用RMI和随机森林有效探索整个搜索空间。

公开(公告)号：CN114896436B

公开(公告)日：2024-04-30

申请号：CN202210671640.X

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  郑侠武 ,  晁飞 ,  费翔 ,  张雷

IPC: G06F16/53 ,  G06N3/0464 ,  G06N3/047 ,  G06N3/08 ,  G06V10/762 ,  G06V10/774

Abstract: 一种基于表征互信息的网络结构搜索方法，涉及人工智能技术领域。在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，计算n个网络的RMI分数、q分位数τ，训练拟合随机森林分类器π；从整个神经网络搜索空间随机抽取一批新的网络，从中找到概率最大的一个网络，利用损失函数训练网络，计算其RMI分数，重新拟合训练新的随机森林模型π，判断随机森林训练样本中新网络数量是否达到N，将得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。高效、快速，并可推广到不同的搜索空间。使用RMI和随机森林有效探索整个搜索空间。