公开(公告)号：CN117494777A

公开(公告)日：2024-02-02

申请号：CN202311304995.6

申请日：2023-10-10

Applicant: 华南理工大学

Inventor： 谭明奎 ,  陈国昊 ,  张梓填 ,  连梓豪 ,  陈岑 ,  庄辉平

IPC: G06N3/08 ,  G06N3/045 ,  G06N3/0464 ,  G06N5/022

Abstract: 本发明公开了一种大模型敏捷训练方法、装置及存储介质，属于大模型训练技术领域。其中方法包括：构建小模型，并初始化小模型的权重；其中小模型为基于单元混合专家架构的模型；训练小模型，为大模型捕捉共享知识；其中大模型为基于混合专家架构的模型，所述混合专家架构包括混合专家层和非混合专家层；根据已捕捉共享知识的小模型，将小模型的权重迁移到大模型，以初始化大模型的权重；对初始化的大模型进行微调，以完成整个大模型的训练。本发明基于具备共享知识的权重初始化大模型，并进一步快速微调，有效避免了不同专家均冗余地从零习得共享知识导致的资源浪费，可大幅减少了基于混合专家架构的大模型训练所需的时间和计算开销。

公开(公告)号：CN119940407A

公开(公告)日：2025-05-06

申请号：CN202411848000.7

申请日：2024-12-16

Applicant: 超级机器人研究院(黄埔) ,  华南理工大学

Inventor： 谭明奎 ,  王宇丰 ,  王骞玥 ,  胡晋武 ,  黄子腾 ,  林坤阳 ,  张梓填 ,  陈沛豪 ,  胡宇 ,  杜卿

IPC: G06N3/045 ,  G06N3/09 ,  G06N3/006 ,  G06F16/3329

Abstract: 本发明公开了一种主动聊天机器人构建方法、装置、设备及介质，其中方法包括：构建以用户为中心的聊天质量评估器，用于评估聊天机器人对用户背景信息、聊天偏好的主动感知能力；构建用户背景数据集，用来让大模型扮演不同背景身份的用户智能体，和聊天机器人展开多轮对话聊天；对话语料收集与迭代课程学习，用来生成高质量对话语料，并使用迭代课程学习的方法微调聊天机器人对应的大模型，以提升模型对用户背景信息、聊天偏好的主动感知能力。本发明能够让聊天机器人主动关注用户的背景信息和聊天兴趣，给出符合用户聊天偏好的回答，从而提升用户的对话参与度与满意度，改进人机交互体验。本发明可广泛应用于人工智能技术领域。