公开(公告)号：CN114596569B

公开(公告)日：2024-05-24

申请号：CN202210128901.3

申请日：2022-02-11

Applicant: 华南理工大学

Inventor： 谢灿宇 ,  金连文 ,  林炜丰 ,  彭德智

IPC: G06V30/40 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/045 ,  G06N3/042 ,  G06N3/096 ,  G06V10/764 ,  G06V10/82 ,  G06V30/19

Abstract: 本发明公开了一种轻量化文字识别模型设计方法、系统、装置及介质，其中方法包括：选取基准模型：采用基于卷积递归神经网络的文本行识别模型作为基准模型；网络结构搜索：采用ProxylessNAS网络结构搜索算法搜索适用于文字识别任务的主干网络，使用LayeNorm层作为特征序列的归一化层；知识蒸馏：采用基于特征的知识蒸馏方法提升轻量化模型性能，基于SVD分解对蒸馏方法中回归器权重进行赋值，对教师模型提取的特征进行降维；蒸馏辅助网络结构搜索：通过在网络搜索过程中加入蒸馏学习辅助搜索过程。本发明通过将知识蒸馏与网络结构搜索模型进行有机结合，解决现有方法计算量与存储量过大问题，使得文字识别模型能够部署到移动端设备上，可广泛应用于人工智能技术领域。

公开(公告)号：CN114596569A

公开(公告)日：2022-06-07

申请号：CN202210128901.3

申请日：2022-02-11

Applicant: 华南理工大学

Inventor： 谢灿宇 ,  金连文 ,  林炜丰 ,  彭德智

IPC: G06V30/40 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/764 ,  G06V10/82 ,  G06V30/19

Abstract: 本发明公开了一种轻量化文字识别模型设计方法、系统、装置及介质，其中方法包括：选取基准模型：采用基于卷积递归神经网络的文本行识别模型作为基准模型；网络结构搜索：采用ProxylessNAS网络结构搜索算法搜索适用于文字识别任务的主干网络，使用LayeNorm层作为特征序列的归一化层；知识蒸馏：采用基于特征的知识蒸馏方法提升轻量化模型性能，基于SVD分解对蒸馏方法中回归器权重进行赋值，对教师模型提取的特征进行降维；蒸馏辅助网络结构搜索：通过在网络搜索过程中加入蒸馏学习辅助搜索过程。本发明通过将知识蒸馏与网络结构搜索模型进行有机结合，解决现有方法计算量与存储量过大问题，使得文字识别模型能够部署到移动端设备上，可广泛应用于人工智能技术领域。