公开(公告)号：CN114997149B

公开(公告)日：2025-04-11

申请号：CN202210625550.7

申请日：2022-06-02

Applicant: 重庆邮电大学

Inventor： 甘玲 ,  杜欣睿 ,  刘菊 ,  胡柳慧

IPC: G06F40/247 ,  G06F40/30 ,  G06F40/205 ,  G06F16/355 ,  G06F18/22

Abstract: 本发明涉及一种基于提示学习的中文词义消歧方法，属于计算机技术领域。基于BERT的大多数方法都采用使用BERT迁就下游任务的形式，首先将预训练模型应用到下游任务上，然后再通过微调预训练语言模型提升性能。但随着预训练语言模型体量不断地增大，对其微调的硬件要求和实际代价也在变得更艰难。中文的BERT是基于字的，大多数基于BERT的词义消歧模型在预训练MLM模型任务中只能以字为单位去添加MASK标记，词是取得字的平均，对词的表达不够准确。本发明主要解决中文词义消歧模型存在的消歧效率低、监督分类时需要大量数据标注以及未充分利用BERT的自身能力等问题。

公开(公告)号：CN114997149A

公开(公告)日：2022-09-02

申请号：CN202210625550.7

申请日：2022-06-02

Applicant: 重庆邮电大学

Inventor： 甘玲 ,  杜欣睿 ,  刘菊 ,  胡柳慧

IPC: G06F40/247 ,  G06F40/30 ,  G06F40/205 ,  G06F16/35 ,  G06K9/62

Abstract: 本发明涉及一种基于提示学习的中文词义消歧方法，属于计算机技术领域。基于BERT的大多数方法都采用使用BERT迁就下游任务的形式，首先将预训练模型应用到下游任务上，然后再通过微调预训练语言模型提升性能。但随着预训练语言模型体量不断地增大，对其微调的硬件要求和实际代价也在变得更艰难。中文的BERT是基于字的，大多数基于BERT的词义消歧模型在预训练MLM模型任务中只能以字为单位去添加MASK标记，词是取得字的平均，对词的表达不够准确。本发明主要解决中文词义消歧模型存在的消歧效率低、监督分类时需要大量数据标注以及未充分利用BERT的自身能力等问题。