公开(公告)号：CN112131861A

公开(公告)日：2020-12-25

申请号：CN202011341577.0

申请日：2020-11-25

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC: G06F40/205 ,  G06F40/284 ,  G06F40/242 ,  G06N3/04 ,  G06N3/08 ,  G06F16/332

Abstract: 本发明属于任务型对话技术领域，具体涉及了一种基于层次化多头交互注意力的对话状态生成方法，旨在解决现有技术精度和准确度低以及成本高、效率低的问题。本发明包括：基于文本词典进行对话文本预处理；通过编码器进行各句子的独立编码，获得对话文本的上下文表示；对解码器输入应用自我注意力机制，获得当前时刻的解码器输入向量；应用多头交互式注意力机制，融合字级别和句子级别的上下文表示，获得对话文本当前时刻的上下文向量表示；结合当前时刻的解码器输入向量，通过非线性映射获得实体和状态作为对话文本的对话状态。本发明可以在无字级别标注信息的情况下取得非常好的效果，不仅节约了数据标注的成本，也提高了模型的精确性与精度。

公开(公告)号：CN112131372A

公开(公告)日：2020-12-25

申请号：CN202011337142.9

申请日：2020-11-25

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC: G06F16/332 ,  G06F40/295 ,  G16H80/00 ,  G06N3/08

Abstract: 本发明属于人机对话领域，具体涉及一种基于知识驱动的对话策略网络优化方法、系统、装置，旨在解决医疗领域现有对话系统优化过程中训练数据利用率低的问题。本发明方法应用于对话系统的训练，包括：基于选定领域对话样本的输入特征，利用基于编码器的协同过滤的方法，对自编码器进行优化；所述自编码器中的编码器用于将输入特征映射到低维空间；基于包含额外奖励值的损失函数，对对话策略网络进行优化；所述额外奖励值与行为动作空间中状态‑动作对出现的频率呈反比例关系。本发明可在有限的训练数据的情况下充分地探索状态动作空间，提高数据利用率。

公开(公告)号：CN112131861B

公开(公告)日：2021-03-16

申请号：CN202011341577.0

申请日：2020-11-25

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC: G06F40/205 ,  G06F40/284 ,  G06F40/242 ,  G06N3/04 ,  G06N3/08 ,  G06F16/332

Abstract: 本发明属于任务型对话技术领域，具体涉及了一种基于层次化多头交互注意力的对话状态生成方法，旨在解决现有技术精度和准确度低以及成本高、效率低的问题。本发明包括：基于文本词典进行对话文本预处理；通过编码器进行各句子的独立编码，获得对话文本的上下文表示；对解码器输入应用自我注意力机制，获得当前时刻的解码器输入向量；应用多头交互式注意力机制，融合字级别和句子级别的上下文表示，获得对话文本当前时刻的上下文向量表示；结合当前时刻的解码器输入向量，通过非线性映射获得实体和状态作为对话文本的对话状态。本发明可以在无字级别标注信息的情况下取得非常好的效果，不仅节约了数据标注的成本，也提高了模型的精确性与精度。

公开(公告)号：CN112131372B

公开(公告)日：2021-02-02

申请号：CN202011337142.9

申请日：2020-11-25

Applicant: 中国科学院自动化研究所

Inventor： 周玉 ,  李梅 ,  向露 ,  宗成庆

IPC: G06F16/332 ,  G06F40/295 ,  G16H80/00 ,  G06N3/08

Abstract: 本发明属于人机对话领域，具体涉及一种基于知识驱动的对话策略网络优化方法、系统、装置，旨在解决医疗领域现有对话系统优化过程中训练数据利用率低的问题。本发明方法应用于对话系统的训练，包括：基于选定领域对话样本的输入特征，利用基于编码器的协同过滤的方法，对自编码器进行优化；所述自编码器中的编码器用于将输入特征映射到低维空间；基于包含额外奖励值的损失函数，对对话策略网络进行优化；所述额外奖励值与行为动作空间中状态‑动作对出现的频率呈反比例关系。本发明可在有限的训练数据的情况下充分地探索状态动作空间，提高数据利用率。