公开(公告)号：CN118485083B

公开(公告)日：2024-11-15

申请号：CN202410663865.X

申请日：2024-05-27

Applicant: 哈尔滨工业大学

Inventor： 韩为 ,  赵巍 ,  孔昭阳 ,  刘鹏

IPC: G06F40/35 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明提出一种基于生成式回报模型和大语言模型的语句交互方法、电子设备及计算机可读存储介质，属于语句交互技术领域。包括：步骤一、使用大语言模型LLM1生成k个候选句子并构建生成式回报模型，构建生成式回报模型的方法是：使用生成式模型拟合特定环境下的某一行为的概率分布；对每一时刻行为的概率分布取对数后中心化，得到行为对应的回报。步骤二、以大语言模型LLM2作为虚拟对手，对每个候选句子进行蒙特卡洛树搜索获取动作价值函数；步骤三、将动作价值函数最大的候选句子作为结果输出。本发明可以让LLM在新的环境中自我学习，不用再有监督地微调；还可以让LLM生成的句子更有目的性。

公开(公告)号：CN118485133A

公开(公告)日：2024-08-13

申请号：CN202410663880.4

申请日：2024-05-27

Applicant: 哈尔滨工业大学

Inventor： 韩为 ,  赵巍 ,  孔昭阳 ,  刘鹏

IPC: G06N3/092 ,  G06N3/047 ,  G06N3/0455

Abstract: 本发明提出一种基于生成式模型的回报模型的构建方法及其验证方法，属于回报模型构建技术领域。包括以下步骤：步骤一、拟合特定环境下行为的概率分布；步骤二、对每一时刻行为的概率分布取对数后中心化，得到行为对应的回报；步骤三、基于行为对应的回报构建智能体策略实现回报模型的应用。本发明使用生成式模型作为回报模型，即，使用在目标任务上经最大似然得到的生成式模型对每个动作概率的中心化对数值作为该动作的回报值。本算法运算方便，能显式给出任意领域生成式模型和回报函数的关系；使用无监督方式得到回报模型大大降低成本；并且可以应用到任意智能体任务中。解决了回报模型构建时步骤繁琐，计算复杂的技术问题。

公开(公告)号：CN118485133B

公开(公告)日：2025-03-28

申请号：CN202410663880.4

申请日：2024-05-27

Applicant: 哈尔滨工业大学

Inventor： 韩为 ,  赵巍 ,  孔昭阳 ,  刘鹏

IPC: G06N3/092 ,  G06N3/047 ,  G06N3/0455

Abstract: 本发明提出一种基于生成式模型的回报模型的构建方法及其验证方法，属于回报模型构建技术领域。包括以下步骤：步骤一、拟合特定环境下行为的概率分布；步骤二、对每一时刻行为的概率分布取对数后中心化，得到行为对应的回报；步骤三、基于行为对应的回报构建智能体策略实现回报模型的应用。本发明使用生成式模型作为回报模型，即，使用在目标任务上经最大似然得到的生成式模型对每个动作概率的中心化对数值作为该动作的回报值。本算法运算方便，能显式给出任意领域生成式模型和回报函数的关系；使用无监督方式得到回报模型大大降低成本；并且可以应用到任意智能体任务中。解决了回报模型构建时步骤繁琐，计算复杂的技术问题。

公开(公告)号：CN118485083A

公开(公告)日：2024-08-13

申请号：CN202410663865.X

申请日：2024-05-27

Applicant: 哈尔滨工业大学

Inventor： 韩为 ,  赵巍 ,  孔昭阳 ,  刘鹏

IPC: G06F40/35 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/08

Abstract: 本发明提出一种基于生成式回报模型和大语言模型的语句交互方法，属于语句交互技术领域。包括：步骤一、使用大语言模型LLM1生成k个候选句子并构建生成式回报模型，构建生成式回报模型的方法是：使用生成式模型拟合特定环境下的某一行为的概率分布；对每一时刻行为的概率分布取对数后中心化，得到行为对应的回报。步骤二、以大语言模型LLM2作为虚拟对手，对每个候选句子进行蒙特卡洛树搜索获取动作价值函数；步骤三、将动作价值函数最大的候选句子作为结果输出。本发明可以让LLM在新的环境中自我学习，不用再有监督地微调；还可以让LLM生成的句子更有目的性。