提升大模型代码能力的方法、装置、设备及存储介质

    公开(公告)号:CN118349715A

    公开(公告)日:2024-07-16

    申请号:CN202410297809.9

    申请日:2024-03-15

    Abstract: 本发明提供一种提升大模型代码能力的方法、装置、设备及存储介质,涉及人工智能技术领域,其中方法包括:爬取并清洗代码语料,将清洗后的代码语料和所述清洗后的代码语料对应的文本数据存入搜索引擎检索库;构建用户问题对应的查询语句,通过所述搜索引擎检索库获取所述查询语句的查询结果;基于所述查询语句的查询结果、所述用户问题与人工标注的输出结果,对大模型进行微调。从而微调后的大模型可以输出与用户问题更加相关且准确的代码内容,提升大模型的代码生成能力。

    提高模型安全性的方法、装置及存储介质

    公开(公告)号:CN118349643A

    公开(公告)日:2024-07-16

    申请号:CN202410287402.8

    申请日:2024-03-13

    Abstract: 本申请提供一种提高模型安全性的方法、装置及存储介质。该提高模型安全性的方法涉及自然语言处理技术领域,包括:构建安全语料库;基于所述安全语料库对预训练大语言模型进行低秩适配器Lora微调训练,得到目标Lora权重;将所述目标Lora权重合并至待处理模型中;所述待处理模型指与所述预训练大语言模型同类型、同规模并且同参数量的待提高安全性的大语言模型。本申请提供的提高模型安全性的方法、装置及存储介质,不需要重复对大模型进行继续预训练和微调,而是直接将低秩适配器的权重合并到待处理模型,实现高效提高模型的安全性。

    基于大语言模型的问答方法、装置、电子设备及存储介质

    公开(公告)号:CN117891927A

    公开(公告)日:2024-04-16

    申请号:CN202410295644.1

    申请日:2024-03-15

    Abstract: 本发明提供一种基于大语言模型的问答方法、装置、电子设备及存储介质,属于自然语言处理技术领域,该方法包括:将待答复多模态提问信息中的非文本信息转化为对应的第二文本信息;分别从目标文本库中检索出与待答复多模态提问信息中的第一文本信息相匹配的第一文本结果,以及与第二文本信息相匹配的第二文本结果;目标文本库是基于第一文本信息和第二文本信息构建的;利用预设大语言模型,基于第一文本信息、第一文本结果和第二文本结果,确定待答复多模态提问信息对应的答复信息。本发明可以实现针对多模态提问信息的高效准确回答,不需要额外增加大语言模型的训练成本,有效缓解了大语言模型容易出现的事实性幻觉问题。

    基于大语言模型的问答方法、装置、电子设备及存储介质

    公开(公告)号:CN117891927B

    公开(公告)日:2024-06-28

    申请号:CN202410295644.1

    申请日:2024-03-15

    Abstract: 本发明提供一种基于大语言模型的问答方法、装置、电子设备及存储介质,属于自然语言处理技术领域,该方法包括:将待答复多模态提问信息中的非文本信息转化为对应的第二文本信息;分别从目标文本库中检索出与待答复多模态提问信息中的第一文本信息相匹配的第一文本结果,以及与第二文本信息相匹配的第二文本结果;目标文本库是基于第一文本信息和第二文本信息构建的;利用预设大语言模型,基于第一文本信息、第一文本结果和第二文本结果,确定待答复多模态提问信息对应的答复信息。本发明可以实现针对多模态提问信息的高效准确回答,不需要额外增加大语言模型的训练成本,有效缓解了大语言模型容易出现的事实性幻觉问题。

Patent Agency Ranking