-
公开(公告)号：CN116306871A
公开(公告)日：2023-06-23
申请号：CN202310298282.7
申请日：2023-03-24
Applicant: 厦门大学深圳研究院
IPC: G06N3/08 , G06N3/0464 , G06N5/04
Abstract: 一种基于重参数化网络的迭代式训练方法，涉及网络结构设计。1)对于给定的重参数化网络结构，设定用于知识蒸馏训练方法的教师网络、最大迭代次数、最大递归深度及每次的迭代次数；2)初始化网络权重或从已收敛的网络中加载预训练权重；3)设定好迭代次数上限，将用于推理的网络重新拓展到用于训练的网络；4)新扩充的分支在满足约束条件下初始化，从数据集中随机抽取部分数据用于前向推理，对各并行分支的BN层参数校正；5)利用教师网络知识蒸馏训练；6)利用重参数化技术无损合并为单分支的纯卷积网络；7)若达到最大递归循环次数或性能已满足需求，则步骤6)所得网络为最终用于部署的网络；反之，则回步骤3)，重复上述训练过程。
Search Results
1
records
(took 0.019 seconds)
筛选
AND
AND
过滤
NOT
NOT
Scan to Join
