公开(公告)号：CN114661884A

公开(公告)日：2022-06-24

申请号：CN202210408155.3

申请日：2022-04-19

Applicant: 杭州电子科技大学 ,  杭州核新软件技术有限公司

Inventor： 殷昱煜 ,  江艺璇 ,  梁婷婷 ,  陶志伟 ,  胡海胖 ,  李尤慧子 ,  李玉

IPC: G06F16/332 ,  G06F16/33 ,  G06N20/00

Abstract: 本发明公开了一种开放域问答下基于KL正则化的检索器预训练方法。本发明通过使用当前问题重写以及历史问题（可包含答案）和当前问题的拼接这两种形式进行训练，利用KL散度来拉进两种问题形式的检索结果，不仅提高了训练的稳定性，而且提升了问题编码器对问题的语义理解能力。本发明通过引入了困难负样本，即由TF‑IDF检索到但不包含正确答案的文章，提高了检索器的训练效果，使得检索器能在内容相似的一批文章甄别出与当前问题关联更强的文章。

公开(公告)号：CN114722177A

公开(公告)日：2022-07-08

申请号：CN202210408339.X

申请日：2022-04-19

Applicant: 杭州电子科技大学 ,  杭州核新软件技术有限公司

Inventor： 梁婷婷 ,  赵自强 ,  殷昱煜 ,  陶志伟 ,  胡海胖 ,  李尤慧子 ,  李玉

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06N20/00

Abstract: 本发明公开了一种对比学习增强对话状态追踪的任务型对话方法。本发明首先收集中文多领域任务型对话数据，并做数据增强。其次通过对话状态追踪模块将收集整理好的数据送入意图识别模块、二分类识别模块、对比学习强化模块得到每一轮对话中用户的意图和所处的对话状态。通过数据库查询模块筛选出符合用户意图和对话状态的数据。然后通过对话状态决策模块对对话状态进行决策学习，生成更合理多样的对话决策；通过对话回复模块生成准确且合适的回复。最后通过网页前端模块将回复内容友好的展示给用户。本发明将对比学习融入对话状态追踪训练中，优化了模型对Span slot的抽取能力，进而提高了模型对整个输入语句上下文语义信息的提取能力。