公开(公告)号：CN117291174A

公开(公告)日：2023-12-26

申请号：CN202311149657.X

申请日：2023-09-07

Applicant: 哈尔滨工业大学

Inventor： 杨沐昀 ,  黄壤 ,  朱聪慧 ,  徐冰 ,  曹海龙 ,  赵铁军

IPC: G06F40/216 ,  G06F40/289 ,  G06N3/0464 ,  G06N3/0455 ,  G06N3/08

Abstract: 一种基于自定义掩码对象的预训练语言模型优化方法、设备及存储介质，属于自然语言技术领域。解决了预训练语言模型在领域任务中的应用存在一定的领域不适配性、由于领域文本的识别问题使得预训练语言模型在训练时未能学习到足够领域知识而导致领域任务表现不佳的问题。所述方法包括：采集输入文本，采用所述分词工具对所述输入文本进行处理，得到处理后的输入文本；将所述处理后的输入文本采用编码器获得每个位置的字的上下文表示；基于所述上下文表示，采用分类器获得处理后的输入文本的损失函数，并依据所述损失函数进行梯度回传和参数更新，完成对模型的优化。本发明适用于处理专利文献识别处理领域预训练模型的领域化问题。