公开(公告)号：CN119647586A

公开(公告)日：2025-03-18

申请号：CN202411522546.3

申请日：2024-10-29

Applicant: 清华大学

Inventor： 李涓子 ,  齐韵嘉 ,  彭皓 ,  王晓智 ,  许斌 ,  侯磊

IPC: G06N5/04 ,  G06N3/08 ,  G06N3/09

Abstract: 本发明提供一种大语言模型的训练方法、装置、电子设备及存储介质，涉及人工智能技术领域。其中，大语言模型的训练方法，包括：获取指令响应数据对；其中，指令响应数据对由指令和利用大语言模型根据指令生成的响应组成，响应包括预设领域的文本；从指令响应数据对包含的响应中，提取响应包含的约束信息；根据响应、响应包含的约束信息以及响应对应的指令，生成训练数据集；利用训练数据集，对预训练的大语言模型进行继续训练，得到目标大语言模型，以利用目标大语言模型根据指令，生成响应。本发明可以高效地训练得到可准确执行具有复杂约束的指令的大语言模型，进而有效提升计算资源的利用率。

公开(公告)号：CN114036956B

公开(公告)日：2024-12-03

申请号：CN202111371152.9

申请日：2021-11-18

Applicant: 清华大学

Inventor： 李涓子 ,  朱洪银 ,  彭皓 ,  侯磊 ,  唐杰 ,  许斌

IPC: G06F40/30 ,  G06F40/295 ,  G06N3/045 ,  G06N3/088 ,  G06Q50/14

Abstract: 本发明提供一种旅游知识语义分析方法及装置。其中，该方法包括：获取待理解旅游知识文本；将所述待理解旅游知识文本输入至基于异构旅游知识的预训练语言模型中，得到所述预训练语言模型输出的语义理解结果；其中，所述预训练语言模型是以预设的非结构化文本、半结构化文本和满足结构条件的预设知识三元组文本为训练样本，并基于相应的无监督训练任务将所述训练样本统一建模到相同的上下文表示空间中得到的。本发明提供的旅游知识语义分析方法，能够通过利用多种格式文本训练得到的基于异构旅游知识的预训练语言模型对不同粒度的旅游知识文本进行分析，以提高旅游知识文本语义理解的准确度和鲁棒性，从而提升用户的使用体验。

公开(公告)号：CN118427292A

公开(公告)日：2024-08-02

申请号：CN202410531939.4

申请日：2024-04-29

Applicant: 清华大学

Inventor： 许斌 ,  齐韵嘉 ,  彭皓 ,  王晓智 ,  李涓子 ,  侯磊

IPC: G06F16/31 ,  G06N20/00 ,  G06N3/09 ,  G06N3/0455

Abstract: 本发明提供一种针对信息抽取任务的大语言模型对齐方法及系统，该方法包括：确定信息抽取指导调整数据集；信息抽取指导调整数据集包括多样化的输入和答案输出；多样化的输入基于预设信息抽取数据在信息抽取任务上对齐大语言模型；答案输出与多样化的输入的格式要求对应；基于信息抽取指导调整数据集和预设通用对齐语料库对预设大语言模型进行监督微调训练，得到监督微调大语言模型。本发明为信息抽取任务确定了高质量的对齐数据，并基于对齐数据对预设大语言模型进行监督微调训练，使监督微调大语言模型在信息抽取任务上具有较好的泛化能力，且不影响大语言模型的通用性能。

公开(公告)号：CN114036956A

公开(公告)日：2022-02-11

申请号：CN202111371152.9

申请日：2021-11-18

Applicant: 清华大学

Inventor： 李涓子 ,  朱洪银 ,  彭皓 ,  侯磊 ,  唐杰 ,  许斌

IPC: G06F40/30 ,  G06F40/295 ,  G06N3/04 ,  G06N3/08 ,  G06Q50/14

Abstract: 本发明提供一种旅游知识语义分析方法及装置。其中，该方法包括：获取待理解旅游知识文本；将所述待理解旅游知识文本输入至基于异构旅游知识的预训练语言模型中，得到所述预训练语言模型输出的语义理解结果；其中，所述预训练语言模型是以预设的非结构化文本、半结构化文本和满足结构条件的预设知识三元组文本为训练样本，并基于相应的无监督训练任务将所述训练样本统一建模到相同的上下文表示空间中得到的。本发明提供的旅游知识语义分析方法，能够通过利用多种格式文本训练得到的基于异构旅游知识的预训练语言模型对不同粒度的旅游知识文本进行分析，以提高旅游知识文本语义理解的准确度和鲁棒性，从而提升用户的使用体验。

公开(公告)号：CN118568195A

公开(公告)日：2024-08-30

申请号：CN202410450531.4

申请日：2024-04-15

Applicant: 清华大学

Inventor： 侯磊 ,  关勇 ,  李涓子 ,  彭皓 ,  王晓智 ,  孟斌杰

IPC: G06F16/33 ,  G06F16/332 ,  G06F40/30 ,  G06N3/045

Abstract: 本发明提供一种基于事件的文档检索方法、装置、电子设备及存储介质，其中的方法包括：获取用户对于待检索文档集的用户查询语句；将用户查询语句输入至预先训练的大语言模型，得到文档检索结果；其中，大语言模型通过根据文档表示和文档标识符构成的训练样本数据集进行训练优化得到，文档表示通过待检索文档集中的事件及事件关系表示得到，文档标识符通过将待检索文档集中的事件映射到事件层次结构中得到。该方法通过将文档内容之间的关联性纳入考虑范畴，利用事件及事件关系有效表示待检索文档，显著提升了大语言模型的文档检索性能；通过采用事件层次结构来构建具备明确语义结构的文档标识符，有效加强了文档标识符与文档内容之间的联系。

公开(公告)号：CN111950269A

公开(公告)日：2020-11-17

申请号：CN202010847425.1

申请日：2020-08-21

Applicant: 清华大学 ,  腾讯科技(深圳)有限公司

Inventor： 刘知远 ,  彭皓 ,  高天宇 ,  韩旭 ,  林衍凯 ,  李鹏 ,  孙茂松 ,  周杰

IPC: G06F40/279 ,  G06F40/194

Abstract: 本申请涉及一种文本语句处理方法、装置、计算机设备和存储介质，包括：获取含实体对和实体对的关系标签的样本文本语句；根据关系标签从样本文本语句中提取正例语句对和负例语句对，并进行正负例采样处理，获得训练集；将训练集输入至待训练的关系抽取模型，生成包括对比损失值的损失值；对比损失值用于表征正例语句对中语句的相似度与负例语句对中语句的相似度之间的差异；根据损失值调整关系抽取模型的参数，并返回根据关系标签从样本文本语句中提取正例语句对和负例语句对的步骤，以进行迭代训练，直至满足训练停止条件，得到关系抽取模型；关系抽取模型用于识别文本语句中实体对的实体关系。采用本方法能够有效提高实体关系抽取的准确性。