公开(公告)号：CN117909361A

公开(公告)日：2024-04-19

申请号：CN202311770053.7

申请日：2023-12-20

Applicant: OPPO广东移动通信有限公司

Inventor： 王闯闯 ,  郑志彤

IPC: G06F16/2452 ,  G06F16/215

Abstract: 本申请公开了一种语言模型的提示语优化方法、装置及电子设备。该方法包括：获取待处理提示语；将待处理提示语拆分为指令、数据库以及问题；基于所述指令获取所述数据库中与所述问题匹配的至少一个参考结果，每个参考结果包括表名以及列名；基于所述表名以及列名获取每个参考结果与所述问题的相关性，并清除所述数据库中相关性低于预设阈值的参考结果，得到目标数据库；将所述指令、目标数据库以及问题作为语言模型的目标提示语。本方法通过对待处理提示语进行分段，可以提高语言模型对复杂文本的理解能力，进而提升查询的准确度；以及通过去除与问题相关性低的表名和列名，可以提高语言模型对嵌套表格查询的准确度，从而进一步提升查询的准确度。

公开(公告)号：CN117633008A

公开(公告)日：2024-03-01

申请号：CN202311698094.X

申请日：2023-12-11

Applicant: OPPO广东移动通信有限公司

Inventor： 王闯闯 ,  郑志彤 ,  唐开

IPC: G06F16/242 ,  G06F16/25 ,  G06F18/214 ,  G06N5/04

Abstract: 本申请提供了一种语句转换模型的训练方法、装置、设备、存储介质及产品，属于神经网络技术领域。所述方法包括：获取多个第一样本数据，所述第一样本数据包括结构化查询语句；基于所述多个结构化查询语句，对基础模型进行预训练，得到第一语句转换模型；获取多个第二样本数据，所述第二样本数据包括自然语言文本和被标注的所述自然语言文本对应的结构化查询语句，所述第二样本数据的数量小于所述第一样本数据的数量；基于所述多个第二样本数据，对所述第一语句转换模型进行调整，得到第二语句转换模型。本申请实施例提供的无监督预训练和有监督指令微调的方法不仅能够提高第二语句转换模型的泛化能力，还能够提高第二语句转换模型的推理能力。

公开(公告)号：CN117609201A

公开(公告)日：2024-02-27

申请号：CN202311485944.8

申请日：2023-11-08

Applicant: OPPO广东移动通信有限公司

Inventor： 王闯闯

IPC: G06F16/215 ,  G06F16/951 ,  G06N3/08

Abstract: 本申请实施例公开了一种数据去重方法、装置、存储介质以及终端，所述方法包括：在大语言模型训练场景下，获取初始语料训练数据，确定所述初始语料训练数据对应的目标去重级别，基于所述目标去重级别对所述初始语料训练数据进行数据去重处理得到语料训练数据。采用该方法，本申请实施例通过先确定针对训练数据的去重级别后，再对训练数据进行相应级别的去重处理，以实现对训练数据进行不同级别的去重处理，不仅达到了提升训练数据的数据质量的效果，还增加了训练数据去重的灵活性。

公开(公告)号：CN117851584A

公开(公告)日：2024-04-09

申请号：CN202410020385.1

申请日：2024-01-05

Applicant: OPPO广东移动通信有限公司

Inventor： 王闯闯 ,  杨振宇 ,  苏钿煌

IPC: G06F16/34 ,  G06F18/214 ,  G06F40/205 ,  G06F40/30

Abstract: 本申请提供了一种摘要生成模型的训练方法、摘要生成方法、装置及设备，属于计算机技术领域。该方法由计算机设备执行，方法包括：获取样本通话记录；通过自然语言处理模型，基于引导文本，对样本通话记录进行处理，得到第一摘要；基于样本通话记录和第一摘要，对摘要生成模型进行训练，以使摘要生成模型能够对通话记录进行处理以生成通话记录的摘要。上述技术方案能够使得摘要生成模型具备生成细粒度的通话记录摘要的能力，也即是，摘要生成模型能够以通话记录中的任一通话对象为主语，生成包含多个摘要属性的摘要，从而保证了摘要中包含通话记录中的关键内容，提高了生成的摘要的全面度和准确度。