公开(公告)号：CN114528477B

公开(公告)日：2024-11-26

申请号：CN202210023585.3

申请日：2022-01-10

Applicant: 华南理工大学

Inventor： 谭明奎 ,  庄壮伟 ,  刘立钊 ,  陈国昊 ,  李振宇 ,  黄尚昕 ,  贺方舟 ,  罗志杰 ,  冯博政 ,  邹博韬 ,  唐润 ,  严笑

IPC: G06F16/9535 ,  G06F16/28 ,  G06F16/36 ,  G06N20/00

Abstract: 本发明公开了一种面向科研应用的自动机器学习实现方法、平台及装置，其中方法包括：获取用户输入的科研数据，根据科研数据和预设构建的关系图谱生成解决方案；根据解决方案，利用深度学习方法对用户需求进行智能分析，生成规范化的检索表单；基于用户对各科研数据的操作信息，为用户提供个性化的数据推荐服务；结合拖拽式编程与代码编程构建可视化算子，通过可视化算子构建实验的算法流程图，以实现可视化编程与展示；其中，关系图谱通过标签系统与关联系统构建获得。本发明打破了现有机器学习平台中存在的数据壁垒，有效地提升科研数据的利用率，降低科研人员之间的沟通成本，可广泛应用于机器学习平台技术领域。

公开(公告)号：CN117608591A

公开(公告)日：2024-02-27

申请号：CN202311377892.2

申请日：2023-10-23

Applicant: 华南理工大学

Inventor： 谭明奎 ,  陈耀佛 ,  黎浩坤 ,  许守凯 ,  温志全 ,  庄壮伟 ,  陈国昊 ,  罗海林

IPC: G06F8/60 ,  H04L67/10 ,  G06F8/20 ,  G06N3/096

Abstract: 本发明公开了一种云边端协同大模型轻量化部署平台系统及方法，其中系统包括：用户模块和管理员模块；所述用户模块包括专业用户模块和普通用户模块，普通用户模块包括用户基础功能模块、数据管理模块、部署管理模块和部署结果分析模块，专业用户模块比普通用户模块多增加一个模型与算法管理模块；所述管理员模块包括管理员基础功能模块和文档管理模块。本发明通过云边端协同集群，将预训练大模型与下游场景部署算法解耦，用户仅需按照给定格式准备数据，并选择大模型和部署算法即可完成预训练大模型的迁移部署，极大地降低了大模型部署的人力资源成本。本发明可广泛应用于大模型部署的技术领域。

公开(公告)号：CN117494777A

公开(公告)日：2024-02-02

申请号：CN202311304995.6

申请日：2023-10-10

Applicant: 华南理工大学

Inventor： 谭明奎 ,  陈国昊 ,  张梓填 ,  连梓豪 ,  陈岑 ,  庄辉平

IPC: G06N3/08 ,  G06N3/045 ,  G06N3/0464 ,  G06N5/022

Abstract: 本发明公开了一种大模型敏捷训练方法、装置及存储介质，属于大模型训练技术领域。其中方法包括：构建小模型，并初始化小模型的权重；其中小模型为基于单元混合专家架构的模型；训练小模型，为大模型捕捉共享知识；其中大模型为基于混合专家架构的模型，所述混合专家架构包括混合专家层和非混合专家层；根据已捕捉共享知识的小模型，将小模型的权重迁移到大模型，以初始化大模型的权重；对初始化的大模型进行微调，以完成整个大模型的训练。本发明基于具备共享知识的权重初始化大模型，并进一步快速微调，有效避免了不同专家均冗余地从零习得共享知识导致的资源浪费，可大幅减少了基于混合专家架构的大模型训练所需的时间和计算开销。

公开(公告)号：CN114528477A

公开(公告)日：2022-05-24

申请号：CN202210023585.3

申请日：2022-01-10

Applicant: 华南理工大学

Inventor： 谭明奎 ,  庄壮伟 ,  刘立钊 ,  陈国昊 ,  李振宇 ,  黄尚昕 ,  贺方舟 ,  罗志杰 ,  冯博政 ,  邹博韬 ,  唐润 ,  严笑

IPC: G06F16/9535 ,  G06F16/28 ,  G06F16/36 ,  G06N20/00

Abstract: 本发明公开了一种面向科研应用的自动机器学习实现方法、平台及装置，其中方法包括：获取用户输入的科研数据，根据科研数据和预设构建的关系图谱生成解决方案；根据解决方案，利用深度学习方法对用户需求进行智能分析，生成规范化的检索表单；基于用户对各科研数据的操作信息，为用户提供个性化的数据推荐服务；结合拖拽式编程与代码编程构建可视化算子，通过可视化算子构建实验的算法流程图，以实现可视化编程与展示；其中，关系图谱通过标签系统与关联系统构建获得。本发明打破了现有机器学习平台中存在的数据壁垒，有效地提升科研数据的利用率，降低科研人员之间的沟通成本，可广泛应用于机器学习平台技术领域。

公开(公告)号：CN119623510A

公开(公告)日：2025-03-14

申请号：CN202411574116.6

申请日：2024-11-06

Applicant: 超级机器人研究院(黄埔) ,  华南理工大学

Inventor： 谭明奎 ,  陈国昊 ,  陈德宇 ,  牛帅程 ,  张书海 ,  陈耀佛 ,  邓泽帅 ,  杜卿

IPC: G06N3/042 ,  G06N3/084 ,  G06N3/096

Abstract: 本发明公开了一种多设备协同的高效在线适应方法，包括：针对算力资源丰富的设备，采用基于前向和反向传播的在线协同适应模式对设备中的第一模型进行处理：在检测到域偏移时，动态将模型所学权重保存到共享知识库；通过在第一模型参数中引入新参数矩阵，以在适应过程中捕捉新知识；针对低算力的设备，采用仅利用前向传播的在线协同适应模式对设备中的第二模型进行处理：模型直接利用已有的共享知识库进行在线适应。本发明通过采用动态更新地共享知识库，实现多设备间知识的累积、共享与动态利用；针对不同算力的设备，采用不同的在线协同适应模式来处理，极大地提升了在线适应在现实应用中的能效与实用性。本发明可广泛应用于迁移学习技术领域。

公开(公告)号：CN117556887A

公开(公告)日：2024-02-13

申请号：CN202311346685.0

申请日：2023-10-17

Applicant: 华南理工大学

Inventor： 谭明奎 ,  陈国昊 ,  童楷 ,  庄辉平 ,  陈岑

IPC: G06N3/096 ,  G06N3/094 ,  G06N3/092 ,  G06N3/09 ,  G06N3/084 ,  G06N3/045 ,  G06F16/332

Abstract: 本发明公开了一种基于大语言模型的对抗蒸馏方法、装置及存储介质，属于大语言模型技术领域。本发明让教师模型基于指令与学生模型的回答针对性地生成多个不同的答案作为多组训练数据，由裁判模型评估学生模型的回答，判断哪个学生模型的回答更好，从而确定哪组教师回答更有利于学习；以学生模型的学习程度衡量教师模型答案的优劣，构建优劣回复对，并通过强化学习技术优化教师模型，帮助教师模型产生更清晰易懂的答案，同时保留评估下性能更好的学生模型作为更优的学生模型，能够有效地提升教师模型和学生模型的性能。