公开(公告)号：CN119272770B

公开(公告)日：2025-05-16

申请号：CN202411190943.5

申请日：2024-08-28

Applicant: 哈尔滨工业大学

Inventor： 武跃 ,  叶麟 ,  刘春雨 ,  魏子淇 ,  赵以诚 ,  张宏莉

IPC: G06F40/295 ,  G06F40/16 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制优化的网络数据命名实体识别方法，属于命名实体识别的预训练模型优化技术领域。解决了现有技术中传统的网络数据命名实体识别方法因未考虑网络安全数据特点导致的识别结果精度较低的问题；本发明给定输入序列，将其输入BERT模型，生成三种嵌入并进行相加，得到词的最终输入，输入到引入BERT模型的Transformer‑XL模型，设置基础矩阵，引入内容嵌入矩阵和位置嵌入矩阵，得到内容嵌入基础矩阵和位置嵌入基础矩阵；获得句子中任意两个单词之间的注意力机制分数，对所有注意力机制分数的加和进行归一化，得到归一化后的注意力机制分数。本发明有效提升了命名实体识别的精度，可以应用于实体识别。

公开(公告)号：CN119272770A

公开(公告)日：2025-01-07

申请号：CN202411190943.5

申请日：2024-08-28

Applicant: 哈尔滨工业大学

Inventor： 武跃 ,  叶麟 ,  刘春雨 ,  魏子淇 ,  赵以诚 ,  张宏莉

IPC: G06F40/295 ,  G06F40/16 ,  G06N3/045 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于注意力机制优化的网络数据命名实体识别方法，属于命名实体识别的预训练模型优化技术领域。解决了现有技术中传统的网络数据命名实体识别方法因未考虑网络安全数据特点导致的识别结果精度较低的问题；本发明给定输入序列，将其输入BERT模型，生成三种嵌入并进行相加，得到词的最终输入，输入到引入BERT模型的Transformer‑XL模型，设置基础矩阵，引入内容嵌入矩阵和位置嵌入矩阵，得到内容嵌入基础矩阵和位置嵌入基础矩阵；获得句子中任意两个单词之间的注意力机制分数，对所有注意力机制分数的加和进行归一化，得到归一化后的注意力机制分数。本发明有效提升了命名实体识别的精度，可以应用于实体识别。