公开(公告)号：CN115062624B

公开(公告)日：2025-05-02

申请号：CN202210672522.0

申请日：2022-06-14

Applicant: 浙江工业大学

Inventor： 黄亮 ,  梁森杰 ,  叶飞扬 ,  池凯凯 ,  张书彬

IPC: G06F40/30 ,  G06F40/289 ,  G06N3/045

Abstract: 本发明公开了一种意图槽值双向交互的自然语言理解方法，采用BERT语义编码模块对用户输入的话语进行文本预处理，并进行语义编码，然后将意图表示向量输入到意图注意力模块，生成语义增强的意图表示向量，并通过自注意语义交互模块，双向交互语义增强的意图语义表示向量和槽语义表示向量，获得最终的意图语义表示向量和槽语义表示向量，然后将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块，获得最后话语的意图和槽值。本发明使用预训练知识显著提高意图识别和槽填充的识别效果，使得系统可以应用在高精度的NLU场景上，提高了系统的预测精度。

公开(公告)号：CN116468040A

公开(公告)日：2023-07-21

申请号：CN202310391109.1

申请日：2023-04-12

Applicant: 浙江工业大学

Inventor： 金宣成 ,  黄亮 ,  叶飞扬 ,  池凯凯 ,  张书彬 ,  魏欣晨

IPC: G06F40/295 ,  G06F18/24 ,  G06F18/214 ,  G06F18/22 ,  G06N3/08 ,  G06N3/0455

Abstract: 本发明公开了一种二阶提示学习的命名实体识别方法，通过收集远程标签来匹配输入序列的潜在实体，以获得输入序列对应的远程标签序列，构建用于训练实体定位模型的数据集，并训练实体定位模型。采用训练好的实体定位模型预测输入序列中的实体位置，在输入序列中标识实体构建实体识别模型的输入数据，采用所构建的输入数据，训练实体识别模型，最终利用训练好的实体识别模型对待识别输入数据进行识别。本发明将NER任务分解为两个子任务，解决了过度时间消耗和与预先训练的训练目标不一致的问题，在准确性和推理速度之间取得了平衡。

公开(公告)号：CN115238048A

公开(公告)日：2022-10-25

申请号：CN202210554791.7

申请日：2022-05-20

Applicant: 浙江工业大学

Inventor： 黄亮 ,  梁森杰 ,  叶飞扬 ,  池凯凯 ,  张书彬

IPC: G06F16/332 ,  G06F16/33 ,  G06F40/289 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种联合意图识别和槽填充的快速交互方法，采用语义编码器对用户输入的话语进行进行语义编码，获得意图语义表示向量和槽语义表示向量。然后分别采用意图注意力模块和槽注意力模块对意图语义表示向量和槽语义表示向量进行语义增强，采用多头注意力模块对语义增强的意图语义表示向量和槽语义表示向量进行深度的语义交互，将最终的意图语义表示向量和槽语义表示向量分别通过意图分类器模块和槽分类器模块进行分类解码，获得最后输出的意图标签和槽标签。本发明对意图识别和槽填充任务进行联合建模，避免了两个任务间错误信息的传播，设计了多个注意力模块使得意图和槽之间的信息得到充分交互，显著提升了系统预测的准确度。

公开(公告)号：CN115062624A

公开(公告)日：2022-09-16

申请号：CN202210672522.0

申请日：2022-06-14

Applicant: 浙江工业大学

Inventor： 黄亮 ,  梁森杰 ,  叶飞扬 ,  池凯凯 ,  张书彬

IPC: G06F40/30 ,  G06F40/289 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种意图槽值双向交互的自然语言理解方法，采用BERT语义编码模块对用户输入的话语进行文本预处理，并进行语义编码，然后将意图表示向量输入到意图注意力模块，生成语义增强的意图表示向量，并通过自注意语义交互模块，双向交互语义增强的意图语义表示向量和槽语义表示向量，获得最终的意图语义表示向量和槽语义表示向量，然后将最终的意图表示向量和槽语义表示向量输入到CRF语义解码模块，获得最后话语的意图和槽值。本发明使用预训练知识显著提高意图识别和槽填充的识别效果，使得系统可以应用在高精度的NLU场景上，提高了系统的预测精度。