公开(公告)号：CN112989016A

公开(公告)日：2021-06-18

申请号：CN202110532470.2

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 曹江 ,  吴冠霖 ,  方文其 ,  平洋 ,  栾绍童 ,  闫顼

IPC: G06F16/332 ,  G06F16/36 ,  G06N3/00 ,  G06N20/00

Abstract: 本发明提供了一种用于检测对话策略学习中模拟用户经验质量的方法和系统，其方法包括以下步骤：S1.由世界模型生成模拟经验；S2.通过基于KL散度的质量检测器对所述的模拟经验进行质量检测；S3.将质量检测合格的模拟经验进行保存以用于对话策略模型训练。本方案引入了基于KL散度的质量检测器，能够更轻松有效地评估模拟经验的质量，并在确保对话策略的鲁棒性和有效性的同时大大提高计算效率，实现有效控制模拟经验质量的目的。

公开(公告)号：CN112989017B

公开(公告)日：2021-08-10

申请号：CN202110532471.7

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 平洋 ,  曹江 ,  方文其 ,  吴冠霖 ,  栾绍童 ,  闫顼

IPC: G06F16/332 ,  G06N3/00 ,  G06N20/00

Abstract: 本发明提供了一种用于生成对话策略学习用高质量模拟经验的方法，属于机器学习技术领域，包括以下步骤：S1.由基于GP的世界模型预测产生模拟经验；S2.将模拟经验存储至缓冲器以用于对话策略模型训练。本方案基于高斯过程的世界模型能够避免传统DNN模型生成的模拟经验质量需要依赖训练数据量的问题，能够生成高质量的模拟经验，以补充有限的实际用户经验，有效避免初始阶段因为真实经验较少而导致学习效果不佳，学习效率低等问题。

公开(公告)号：CN113392956B

公开(公告)日：2022-02-11

申请号：CN202110532520.7

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 方文其 ,  曹江 ,  吴冠霖 ,  平洋 ,  栾绍童 ,  闫顼

IPC: G06N3/04 ,  G06N3/08 ,  G06F16/332

Abstract: 本发明提供了一种用于对话策略学习的基于GP的深度Dyna‑Q方法，包括以下步骤：S1.由基于GP的世界模型生成模拟经验；S2.由基于KL散度的质量检测器对所述的模拟经验进行质量检测；S3.使用质量检测合格的模拟经验对对话策略模型进行训练。本发明的世界模型抛弃了传统DNN模型，而是将世界模型构造成一种高斯过程模型，具有易于分析的优点；并且基于KL散度的质量检测器能够有效控制模拟经验质量，通过引入KL散度来检查经验的分布，不需要额外工作来设计和训练复杂的质量检测器，从而更轻松的评估模拟经验的质量，并在确保对话策略的鲁棒性和有效性的同时大大提高计算效率。

公开(公告)号：CN112989016B

公开(公告)日：2021-08-10

申请号：CN202110532470.2

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 曹江 ,  吴冠霖 ,  方文其 ,  平洋 ,  栾绍童 ,  闫顼

IPC: G06F16/332 ,  G06F16/36 ,  G06N3/00 ,  G06N20/00

Abstract: 本发明提供了一种用于检测对话策略学习中模拟用户经验质量的方法和系统，其方法包括以下步骤：S1.由世界模型生成模拟经验；S2.通过基于KL散度的质量检测器对所述的模拟经验进行质量检测；S3.将质量检测合格的模拟经验进行保存以用于对话策略模型训练。本方案引入了基于KL散度的质量检测器，能够更轻松有效地评估模拟经验的质量，并在确保对话策略的鲁棒性和有效性的同时大大提高计算效率，实现有效控制模拟经验质量的目的。

公开(公告)号：CN113392956A

公开(公告)日：2021-09-14

申请号：CN202110532520.7

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 方文其 ,  曹江 ,  吴冠霖 ,  平洋 ,  栾绍童 ,  闫顼

IPC: G06N3/04 ,  G06N3/08 ,  G06F16/332

Abstract: 本发明提供了一种用于对话策略学习的基于GP的深度Dyna‑Q方法，包括以下步骤：S1.由基于GP的世界模型生成模拟经验；S2.由基于KL散度的质量检测器对所述的模拟经验进行质量检测；S3.使用质量检测合格的模拟经验对对话策略模型进行训练。本发明的世界模型抛弃了传统DNN模型，而是将世界模型构造成一种高斯过程模型，具有易于分析的优点；并且基于KL散度的质量检测器能够有效控制模拟经验质量，通过引入KL散度来检查经验的分布，不需要额外工作来设计和训练复杂的质量检测器，从而更轻松的评估模拟经验的质量，并在确保对话策略的鲁棒性和有效性的同时大大提高计算效率。

公开(公告)号：CN112989017A

公开(公告)日：2021-06-18

申请号：CN202110532471.7

申请日：2021-05-17

Applicant: 南湖实验室

Inventor： 平洋 ,  曹江 ,  方文其 ,  吴冠霖 ,  栾绍童 ,  闫顼

IPC: G06F16/332 ,  G06N3/00 ,  G06N20/00

Abstract: 本发明提供了一种用于生成对话策略学习用高质量模拟经验的方法，属于机器学习技术领域，包括以下步骤：S1.由基于GP的世界模型预测产生模拟经验；S2.将模拟经验存储至缓冲器以用于对话策略模型训练。本方案基于高斯过程的世界模型能够避免传统DNN模型生成的模拟经验质量需要依赖训练数据量的问题，能够生成高质量的模拟经验，以补充有限的实际用户经验，有效避免初始阶段因为真实经验较少而导致学习效果不佳，学习效率低等问题。