公开(公告)号：CN118349715A

公开(公告)日：2024-07-16

申请号：CN202410297809.9

申请日：2024-03-15

Applicant: 中国电子技术标准化研究院

Inventor： 张宇光 ,  姚相振 ,  胡影 ,  上官晓丽 ,  许晓耕

IPC: G06F16/951 ,  G06F16/953 ,  G06F40/279 ,  G06F8/30

Abstract: 本发明提供一种提升大模型代码能力的方法、装置、设备及存储介质，涉及人工智能技术领域，其中方法包括：爬取并清洗代码语料，将清洗后的代码语料和所述清洗后的代码语料对应的文本数据存入搜索引擎检索库；构建用户问题对应的查询语句，通过所述搜索引擎检索库获取所述查询语句的查询结果；基于所述查询语句的查询结果、所述用户问题与人工标注的输出结果，对大模型进行微调。从而微调后的大模型可以输出与用户问题更加相关且准确的代码内容，提升大模型的代码生成能力。

公开(公告)号：CN118349643A

公开(公告)日：2024-07-16

申请号：CN202410287402.8

申请日：2024-03-13

Applicant: 中国电子技术标准化研究院

Inventor： 张宇光 ,  姚相振 ,  胡影 ,  上官晓丽 ,  许晓耕

IPC: G06F16/332 ,  G06N3/0985 ,  G06N3/045 ,  G06F16/31 ,  G06N5/04

Abstract: 本申请提供一种提高模型安全性的方法、装置及存储介质。该提高模型安全性的方法涉及自然语言处理技术领域，包括：构建安全语料库；基于所述安全语料库对预训练大语言模型进行低秩适配器Lora微调训练，得到目标Lora权重；将所述目标Lora权重合并至待处理模型中；所述待处理模型指与所述预训练大语言模型同类型、同规模并且同参数量的待提高安全性的大语言模型。本申请提供的提高模型安全性的方法、装置及存储介质，不需要重复对大模型进行继续预训练和微调，而是直接将低秩适配器的权重合并到待处理模型，实现高效提高模型的安全性。