公开(公告)号：CN118395985B

公开(公告)日：2024-10-22

申请号：CN202410866352.9

申请日：2024-07-01

Applicant: 吉林大学

Inventor： 徐昊 ,  王小药 ,  宋瑞 ,  石立达

IPC: G06F40/295 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种基于知识蒸馏与变分自编码器的命名实体识别方法，属于人工智能的自然语言处理技术领域，包括以下步骤：构建有偏数据集对BERT‑large模型进行训练，获得有偏模型，作为教师模型；构建含跨域实体的数据集，结合变分自编码器对BERT‑large模型进行训练，获得学生模型；获取教师模型的输出特征，并从学生模型的变分自编码器的映射空间中解耦出鲁棒性特征和非鲁棒性特征；基于知识蒸馏将非鲁棒性特征与教师模型的输出特征进行拟合，进一步解耦出学生模型中更加鲁棒的特征，基于解耦出的鲁棒性特征进行命名实体识别。本发明实现了对命名实体识别任务中捷径学习的有效缓解，提升了命名实体识别任务的准确性。

公开(公告)号：CN118395985A

公开(公告)日：2024-07-26

申请号：CN202410866352.9

申请日：2024-07-01

Applicant: 吉林大学

Inventor： 徐昊 ,  王小药 ,  宋瑞 ,  石立达

IPC: G06F40/295 ,  G06N3/042 ,  G06N3/0455 ,  G06N3/094 ,  G06N3/096

Abstract: 本发明公开了一种基于知识蒸馏与变分自编码器的命名实体识别方法，属于人工智能的自然语言处理技术领域，包括以下步骤：构建有偏数据集对BERT‑large模型进行训练，获得有偏模型，作为教师模型；构建含跨域实体的数据集，结合变分自编码器对BERT‑large模型进行训练，获得学生模型；获取教师模型的输出特征，并从学生模型的变分自编码器的映射空间中解耦出鲁棒性特征和非鲁棒性特征；基于知识蒸馏将非鲁棒性特征与教师模型的输出特征进行拟合，进一步解耦出学生模型中更加鲁棒的特征，基于解耦出的鲁棒性特征进行命名实体识别。本发明实现了对命名实体识别任务中捷径学习的有效缓解，提升了命名实体识别任务的准确性。