公开(公告)号：CN118210877A

公开(公告)日：2024-06-18

申请号：CN202410430340.1

申请日：2024-04-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 孙晓洁 ,  毕可平 ,  张祺深 ,  单虹毓

IPC: G06F16/33 ,  G06F16/35 ,  G06F40/289 ,  G06F40/30 ,  G06N3/0455 ,  G06N3/048 ,  G06N3/08

Abstract: 本公开提供一种检索模型的预训练方法、文本检索方法、系统，包括：获得样本文本的文本输入序列，根据文本输入序列和预设的样本提示字符确定样本输入序列，样本提示字符用于表征预设粒度下的预设属性的信息，将样本输入序列输入至预设的基础网络模型，输出与样本提示字符对应的第一预测结果、与样本文本对应的第二预测结果，根据第一预测结果和第二预测结果对基础网络模型进行迭代训练，直至收敛得到检索模型，以结合预设粒度+预设属性的方式进行预训练，以使得检索模型既可以学习到从预设粒度维度的检索能力，还能够学习到预设属性维度的检索能力，从而实现预训练的多样性和丰富性，进而提高基于本公开的方法预训练得到的检索模型的检索能力。

公开(公告)号：CN117390202A

公开(公告)日：2024-01-12

申请号：CN202311367609.8

申请日：2023-10-20

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张祺深 ,  单虹毓 ,  孙晓洁 ,  毕可平 ,  范意兴 ,  郭嘉丰

IPC: G06F16/383 ,  G06F16/332 ,  G06F16/33 ,  G06F16/36

Abstract: 本说明书实施例提供文本对象表征模型训练方法、文本对象召回方法及装置。在进行模型训练时，将结构化文本对象的经过掩码处理后的内容文本提供给文本对象表征模型来执行内容掩码语言模型预测任务，得到内容掩码预测损失函数；将结构化文本对象的属性文本和经过掩码处理的内容文本提供给文本对象表征模型来执行属性到内容的掩码语言模型预测任务，得到属性‑内容掩码预测损失函数，在执行属性到内容的掩码语言模型预测任务时，使用结构化文本对象的属性文本作为上下文执行内容文本掩码预测。随后，根据内容掩码预测损失函数和属性‑内容掩码预测损失函数调整文本对象表征模型的模型参数。