模型微调方法及装置、电子设备及存储介质

    公开(公告)号:CN117493879A

    公开(公告)日:2024-02-02

    申请号:CN202311371399.X

    申请日:2023-10-20

    Abstract: 本说明书一个或多个实施例提供一种模型微调方法及装置、电子设备及存储介质,所述方法包括:将多个任务的训练数据输入至待微调模型,得到所述待微调模型输出的每个任务的训练数据的预测结果;根据每个任务的训练数据的预测结果,以及对应的训练数据的标签,确定每个任务的训练损失;根据每个任务的训练损失和每个的任务的损失权重确定总损失,并根据所述总损失对待微调模型的参数进行微调,其中,每个任务的损失权重至少与所述任务的训练数据的数量相关。

    利用神经网络进行序列处理的方法及序列处理的装置

    公开(公告)号:CN114399027A

    公开(公告)日:2022-04-26

    申请号:CN202210005134.7

    申请日:2022-01-04

    Abstract: 本说明书实施例提供一种利用神经网络进行序列处理的方法以及序列处理的装置,在序列处理的方法中,在生成层,获取按时间排序的业务指标值形成的指标序列所对应的原始向量序列,针对该原始向量序列迭代执行多层级的向量聚合,得到对应于不同时间尺度的多层级的处理向量序列,原始向量序列和各处理向量序列中的各个向量,形成多层级的树形关系图。在注意力层,根据树形关系图,确定输入的任一目标向量的关联向量,根据关联向量对目标向量进行基于注意力机制的加权综合处理,得到对应的更新向量;该更新向量用于确定指标序列的特征表示。

Patent Agency Ranking