-
公开(公告)号:CN112801264B
公开(公告)日:2023-06-13
申请号:CN202011271696.3
申请日:2020-11-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种动态可微分的空间架构搜索方法与系统,将空间采样与可微分搜索结合,仅对采样空间进行可微分搜索,同时于搜索过程中更新搜索空间的概率分布,用以指导下一次的采样。多次迭代后算法收敛,继而根据相应参数确定最终的搜索结构。这样既可以通过仅优化子空间来加速搜索,又能够以采样的方式使搜索在多个子空间下进行,跳出可微分优化导致的局部最优解,找到更好的网络结构。
-
公开(公告)号:CN112801264A
公开(公告)日:2021-05-14
申请号:CN202011271696.3
申请日:2020-11-13
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种动态可微分的空间架构搜索方法与系统,将空间采样与可微分搜索结合,仅对采样空间进行可微分搜索,同时于搜索过程中更新搜索空间的概率分布,用以指导下一次的采样。多次迭代后算法收敛,继而根据相应参数确定最终的搜索结构。这样既可以通过仅优化子空间来加速搜索,又能够以采样的方式使搜索在多个子空间下进行,跳出可微分优化导致的局部最优解,找到更好的网络结构。
-