基于大模型的推送模型训练方法、信息推送方法及装置

    公开(公告)号:CN119202393A

    公开(公告)日:2024-12-27

    申请号:CN202411371727.0

    申请日:2024-09-27

    Abstract: 本说明书实施例提供了一种基于大模型的推送模型训练方法、信息推送方法及装置。为了使得工业推送系统受益于大模型的知识,可以首先从全量用户中采样种子用户,基于种子用户从大模型中提取高质量、可重用的推送知识,并加入推理池。在对推送模型进行训练时,通过向量检索将推理池中的推送知识扩展到整个用户群,并将检索到的推送知识作为补充信息与第一用户样本的嵌入向量进行融合,得到第一用户样本的融合表征,利用该增强后的融合表征对推送模型进行更新。在推送模型经过这样的训练之后可以将其应用于工业场景中进行信息推送。方法执行过程中会使用到用户的历史行为数据,这些数据属于隐私数据,在数据处理过程中需要进行隐私保护。

    训练目标模型、生成结构化语句的方法及装置

    公开(公告)号:CN118114785A

    公开(公告)日:2024-05-31

    申请号:CN202311867081.0

    申请日:2023-12-29

    Abstract: 本说明书实施例提供一种训练目标模型、生成结构化语句的方法及装置,在训练目标模型的方法中,先基于预设的推理库,利用参数量较大的大语言模型,构建训练样本集。该训练样本集可以包括,第一训练样本和第二训练样本,其中,第一训练样本包括第一提示文本和作为其输出标签的第一回答文本,第一提示文本包括自然语言的第一查询语句和类比推理示例,第一回答文本包括第一结构化语句。第二训练样本包括,第二提示文本和作为其输出标签的第二回答文本,第二提示文本包括第一查询语句和类比推理示例,第二回答文本包括第一推理语句。接着,利用该训练样本集来训练参数量较少的目标模型。

    用于训练长尾数据表征模型的方法和装置

    公开(公告)号:CN116401453A

    公开(公告)日:2023-07-07

    申请号:CN202310355474.7

    申请日:2023-03-31

    Abstract: 本说明书的实施例提供了一种用于训练长尾数据表征模型的方法和装置。在该用于训练长尾数据表征模型的方法中,循环执行下述模型训练过程:将当前训练样本集的头部子图数据和尾部子图数据分别提供给当前长尾数据表征模型的第一图神经网络和第二图神经网络,得到当前训练样本集的头部历史查询数据节点和尾部历史查询数据节点分别对应的特征表征;针对各个尾部历史查询数据节点,在当前训练样本集中确定该尾部历史查询数据节点的匹配头部历史查询数据节点;根据由尾部历史查询数据节点和对应的匹配头部历史查询数据节点组成的正样本对,确定知识迁移对比损失值;响应于不满足训练结束条件,基于知识迁移对比损失值调整当前长尾数据表征模型的参数。

    基于隐私保护的信息推送方法及装置

    公开(公告)号:CN111538906B

    公开(公告)日:2023-06-20

    申请号:CN202010477510.3

    申请日:2020-05-29

    Abstract: 本说明书实施例提供一种基于隐私保护的信息推送方法和装置,可以用于在保护用户隐私数据的前提下,基于历史会话中的对象选择序列建立异构图,并根据异构图体现出的推送对象之间的深层关联关系,从多个候选推送对象中确定若干个目标对象进行信息推送。根据一个实施方式,可以获取当前会话中的对象选择序列,并添加目标项构成预测序列,接着,将预测序列中的各项基于异构图确定描述向量,再根据各个描述向量推测目标项的预测向量,之后根据预测向量和各个候选推送对象的描述向量的对比,为目标项确定多个目标对象。该实施方式可以提高信息推送的准确度。

    确定服务平台向用户推荐的目标对象的方法和装置

    公开(公告)号:CN116186399A

    公开(公告)日:2023-05-30

    申请号:CN202310111774.0

    申请日:2023-02-13

    Abstract: 本说明书实施例提供一种确定服务平台向用户推荐的目标对象的方法和装置,方法包括:获取第一用户的用户画像特征、第一用户在服务平台历史交互过的各对象构成的交互序列的序列特征、向第一用户推荐的备选对象的备选对象特征;备选对象为多个对象中的任一对象;将用户画像特征、序列特征、备选对象特征输入预先训练的神经网络模型,输出关于第一用户本次与备选对象交互的至少一个第一指标的第一预测指标值,以及与第一用户复登服务平台有关的至少一个第二指标的第二预测指标值;根据各个对象对应的第一预测指标值和第二预测指标值,从多个对象中确定出服务平台向第一用户推荐的目标对象。能够使得确定出的目标对象更符合用户偏好。

    一种基于异构图神经网络模型进行预测的方法和系统

    公开(公告)号:CN111400560A

    公开(公告)日:2020-07-10

    申请号:CN202010162355.6

    申请日:2020-03-10

    Abstract: 本说明书一个或多个实施例公开了一种基于异构图神经网络模型进行预测的方法和系统,所述方法包括:获取与预测内容相关的异构图数据,所述异构图数据包括待预测节点、所述待预测节点的邻居节点、以及连接所述待预测节点与所述邻居节点之间的路径,所述路径包括至少一种类型;基于所述路径的类型,对所述邻居节点进行分组,以使得同一组的所述邻居节点的路径的类型相同;将所述待预测节点、分组后的所述邻居节点以及节点之间的路径输入训练好的异构图神经网络模型,得到待预测节点的表示向量后输入训练好的预测模型进行预测。

    训练用于表征知识图谱的图神经网络模型的方法及装置

    公开(公告)号:CN110866190A

    公开(公告)日:2020-03-06

    申请号:CN201911127100.X

    申请日:2019-11-18

    Abstract: 本说明书实施例提供一种训练用于表征知识图谱的图神经网络模型的方法和装置,其中方法包括,从知识图谱中获取三元组,其中包括第一节点,第二节点,以及从第一节点指向第二节点的第一连接边;然后,在边嵌入层,根据第一连接边对应的关系类型以及边属性特征,确定对应的第一边向量;在节点嵌入层,分别将第一节点和第二节点作为目标节点,根据目标节点的节点属性特征,以及目标节点的邻居节点集,进行多级向量嵌入,从而分别得到与第一节点和第二节点对应的第一高阶向量和第二高阶向量。接着,根据第一高阶向量、第二高阶向量和第一边向量,确定第一节点通过第一连接边连接到第二节点的概率,以最大化概率为目标,更新边嵌入层和节点嵌入层。

    序列推荐方法和装置
    10.
    发明公开

    公开(公告)号:CN117909592A

    公开(公告)日:2024-04-19

    申请号:CN202410124852.5

    申请日:2024-01-29

    Abstract: 本说明书实施例提供一种序列推荐方法和装置。方法包括:获取目标用户的历史交互的各个对象按照时间先后顺序构成的历史对象序列;根据历史对象序列,构建目标提示信息;用于提示向所述目标用户推荐目标对象及其理由;将目标提示信息输入第一语言模型,通过第一语言模型输出目标推荐理由;基于目标推荐理由的文本编码向量,确定目标用户的用户表征;基于对象集合中的任一待推荐对象的文本编码向量,确定该待推荐对象的对象表征;将用户表征和对象集合中的任一待推荐对象的对象表征输入匹配模型,得到二者的匹配分数,并根据匹配分数,从对象集合中选择一个待推荐对象作为向目标用户推荐的目标对象。能够提升推荐的准确性。

Patent Agency Ranking