公开(公告)号：CN117952107A

公开(公告)日：2024-04-30

申请号：CN202410065458.9

申请日：2024-01-17

Applicant: 重庆大学

Inventor： 万里 ,  何东元 ,  戴金成 ,  刘泳志

IPC: G06F40/295 ,  G06F18/213 ,  G06F18/2415 ,  G16H50/70 ,  G06N3/0442 ,  G06N3/045

Abstract: 本发明提出了一种基于注意力机制的稀疏医疗实体识别方法，包括以下步骤：S1，通过BERT模型提取词向量并利用Bi‑LSTM进一步抽取特征；S2，使用Attention机制来提取词向量内部的深层联系；S3，依据每一个批次的实体稀疏程度特点动态调整集成学习中的实体类别权重及融合权重；S4，通过CRF层输出预测结果。本发明所提出的命名实体识别模型不仅能够动态地聚焦难以识别的样本从而提高学习效率，同时也引入了减少因子以减小稀疏实体在参数更新时带来的干扰。这使得模型在应对医疗命名实体识别中的不平衡实体数量和稀疏实体问题时，性能得到了显著提升。