基于持续预训练的语言模型训练方法和装置

    公开(公告)号:CN117875449A

    公开(公告)日:2024-04-12

    申请号:CN202410048420.0

    申请日:2024-01-11

    Abstract: 本说明书的实施例提供了一种基于持续预训练的语言模型训练方法和装置。在该基于持续预训练的语言模型训练方法中,利用当前软提示生成模型得到与当前领域的各个当前训练样本对应的软提示特征;进而利用当前语言模型根据各个文本数据和对应的软提示特征得到各个文本数据对应于当前领域的隐特征;再基于所得到的各个文本数据对应于当前领域的隐特征与相应基于所述初始当前语言模型而得到的对应于上一领域的隐特征之间的差异,确定跨域损失值;在不满足当前领域的训练结束条件时根据跨域损失值调整当模型参数;在满足当前领域的训练结束条件时继续利用下一领域的训练样本集重复执行上述模型训练过程,直至满足持续预训练的训练结束条件。

    事件预测系统的更新方法及装置

    公开(公告)号:CN113283589B

    公开(公告)日:2022-07-19

    申请号:CN202110631255.8

    申请日:2021-06-07

    Abstract: 本说明书实施例提供了一种事件预测系统的更新方法,包括:将基于事件样本序列获取的样本输入事件预测系统中进行事件处理,该事件处理包括:通过序列编码网络,确定截至该样本中发生时刻的子序列的序列编码向量,该子序列中各样本均对应第一用户;通过图传播网络,根据该序列编码向量,更新用户关系网络图中与第一用户节点相关的节点表征向量;通过强度拟合网络,根据更新后的节点表征向量,拟合与第一用户对应的事件发生强度函数;通过强度映射网络,将该事件发生强度函数映射至事件类型空间,得到第一用户在多个事件类型下的多个强度函数;之后,基于事件处理得到的多个强度函数和对应第一用户的标签样本,更新上述事件预测系统中的网络参数。

    事件预测系统的更新方法及装置

    公开(公告)号:CN113283589A

    公开(公告)日:2021-08-20

    申请号:CN202110631255.8

    申请日:2021-06-07

    Abstract: 本说明书实施例提供了一种事件预测系统的更新方法,包括:将基于事件样本序列获取的样本输入事件预测系统中进行事件处理,该事件处理包括:通过序列编码网络,确定截至该样本中发生时刻的子序列的序列编码向量,该子序列中各样本均对应第一用户;通过图传播网络,根据该序列编码向量,更新用户关系网络图中与第一用户节点相关的节点表征向量;通过强度拟合网络,根据更新后的节点表征向量,拟合与第一用户对应的事件发生强度函数;通过强度映射网络,将该事件发生强度函数映射至事件类型空间,得到第一用户在多个事件类型下的多个强度函数;之后,基于事件处理得到的多个强度函数和对应第一用户的标签样本,更新上述事件预测系统中的网络参数。

    训练时序预测模型、预测行为序列的方法和装置

    公开(公告)号:CN116011609A

    公开(公告)日:2023-04-25

    申请号:CN202211336706.6

    申请日:2022-10-28

    Abstract: 本说明书实施例提供一种训练时序预测模型,以及利用该模型进行预测的方法和装置,其中时序预测模型包括,自回归预测模型和能量计算模型。训练方法包括:获取标签行为序列,其中包括,用户在第一时段中的第一行为序列,以及在后续的第二时段中的行为序列。将第一行为序列输入自回归预测模型,得到对于第二时段中依次发生行为的概率分布信息。基于概率分布信息进行采样,得到N个采样行为序列,与第一行为序列拼接得到N个采样全序列。利用能量计算模型,确定标签行为序列的标签能量值,以及N个采样全序列各自的采样能量值。以目标函数的函数值趋于增大为目标,训练能量计算模型;其中目标函数与标签能量值负相关,与采样能量值正相关。

Patent Agency Ranking