训练文本分类模型的方法、文本分类方法及对应装置

    公开(公告)号:CN116306869A

    公开(公告)日:2023-06-23

    申请号:CN202310240367.X

    申请日:2023-03-07

    Abstract: 本说明书实施例提供了一种训练文本分类模型的方法、文本分类方法及对应装置。主要技术方案包括:将已经训练得到的第一文本分类模型作为教师模型;利用第一分类模型中的嵌入模块、解码模块以及减少层数后的编码模块得到学生模型,且在学生模型的编码模块和解码模块之间增加了映射模块;将训练样本中的文本样本作为教师模型和学生模型的输入用以训练学生模型,利用训练得到的学生模型得到第二文本分类模型;训练的目标为:最小化教师模型的编码模块输出的第一特征表示分布与学生模型的映射模块输出的第三特征表示分布之间的差异。本说明书实施例能够在保证模型鲁棒性的基础上降低超参数的数量,从而降低因确定最优超参所带来的整体耗时和对资源的消耗。

Patent Agency Ranking