模型微调方法及装置、电子设备及存储介质

    公开(公告)号:CN117668539A

    公开(公告)日:2024-03-08

    申请号:CN202311573017.1

    申请日:2023-11-22

    Abstract: 本说明书一个或多个实施例提供一种模型微调方法及装置、电子设备及存储介质,所述方法包括:将多个训练样本输入至待微调模型,得到所述待微调模型输出的每个训练样本的预测结果,其中,所述多个训练样本属于一个以上任务;根据每个训练样本的预测结果和对应的训练样本的标签,确定每个训练样本的损失值;对于每个任务,根据所述任务的每个训练样本的损失值和所述多个训练样本中属于所述任务的所有训练样本的数据量,确定所述任务的损失值;根据每个任务的损失值确定总损失值,并根据所述总损失值对待微调模型的参数进行微调。

    计算资源的配置方法及装置
    2.
    发明公开

    公开(公告)号:CN115357339A

    公开(公告)日:2022-11-18

    申请号:CN202210974427.6

    申请日:2022-08-15

    Abstract: 本说明书实施例提供一种计算资源的配置方法及装置,基于流量预测和强化学习的决策评估相结合的构思,在流量时序预测基础上,进行各种应用的计算资源配置。其中,在配置过程中,一方面,基于表征向量对各个应用进行表征,使得计算资源配置方案具有迁移能力,即使面对新应用,也可以基于表征向量适用相应的流量与CPU利用率的关系,另一方面,基于强化学习的策略评估机制,以目标CPU利用率为目标确定长期回报,从而在最大化长期回报基础上对计算资源配置的决策结果进行调整,使得计算资源配置方案尽可能以较小的成本接近目标CPU利用率。该计算资源配置的技术方案,可以为云计算提供更有效的扩缩容机制。

    建立时间序列预测模型的方法、时间序列预测方法和装置

    公开(公告)号:CN115048992A

    公开(公告)日:2022-09-13

    申请号:CN202210630555.9

    申请日:2022-06-06

    Abstract: 本说明书实施例提供了一种建立时间序列预测模型的方法、时间序列预测方法和装置。根据该实施例的方法,首先从历史时间序列获取训练数据,所述训练数据包括连续n个时间点的指标值,所述n为大于1的正整数;然后利用所述训练数据训练状态空间模型,得到时间序列预测模型;其中,依时间顺序将各时间点分别作为第ts个时间点执行:将第ts个时间点的指标值输入所述状态空间模型,由所述状态空间模型依据所述第ts个时间点及其之前各时间点的指标值预测所述第ts个时间点之后τ个时间点的指标值,所述τ为预设的正整数;训练目标包括最小化预测的指标值与训练数据中对应指标值的差异;其中,在所述预测中将待预测时间点之前各时间点的隐状态表示进行注意力机制的处理来得到所述待预测时间点的隐状态表示。

    指标预测方法、装置、电子设备及存储介质

    公开(公告)号:CN115526402A

    公开(公告)日:2022-12-27

    申请号:CN202211215171.7

    申请日:2022-09-30

    Abstract: 本说明书一个或多个实施例提供一种指标预测方法、装置、电子设备及存储介质。所述方法包括:获取目标指标序列,目标指标序列包括预设服务在M个时间点的M个指标值;获取与目标指标序列所属指标对应的目标权重向量;任一指标对应的权重向量用于表征该指标在时序上的变化特点;利用预先训练好的指标预测模型,对携带有各个指标值对应的协变量和位置向量的目标指标序列和目标权重向量进行处理,获取在未来的N个时间点的N个预测指标值;其中,M、N为大于1的整数。本实施例实现基于不同指标对应的权重向量,通过一个指标预测模型对属于不同指标的指标序列进行预测。

    利用神经网络进行序列处理的方法及序列处理的装置

    公开(公告)号:CN114399027B

    公开(公告)日:2025-01-03

    申请号:CN202210005134.7

    申请日:2022-01-04

    Abstract: 本说明书实施例提供一种利用神经网络进行序列处理的方法以及序列处理的装置,在序列处理的方法中,在生成层,获取按时间排序的业务指标值形成的指标序列所对应的原始向量序列,针对该原始向量序列迭代执行多层级的向量聚合,得到对应于不同时间尺度的多层级的处理向量序列,原始向量序列和各处理向量序列中的各个向量,形成多层级的树形关系图。在注意力层,根据树形关系图,确定输入的任一目标向量的关联向量,根据关联向量对目标向量进行基于注意力机制的加权综合处理,得到对应的更新向量;该更新向量用于确定指标序列的特征表示。

    生成SQL语句的方法及装置
    7.
    发明公开

    公开(公告)号:CN118916372A

    公开(公告)日:2024-11-08

    申请号:CN202410919551.1

    申请日:2024-07-09

    Abstract: 本说明书实施例提供一种生成SQL语句的方法及装置,在利用自然语言描述信息生成SQL语句过程中,根据以自然语言描述当前业务的描述信息,确定数据库中的若干数据表作为候选数据表,然后通过预先训练的生成模型处理各个候选数据表和描述信息,得到针对当前业务的多个候选SQL语句,接着利用从历史SQL语句库获取的提示信息,通过大模型对各个候选SQL语句进行评分,从而确定评分最高的SQL语句作为目标语句。该实施方式可以兼顾自然语言生成的SQL语句的准确性,以及数据的隐私性。

    训练生成模型、为文本分类器生成训练样本的方法及装置

    公开(公告)号:CN116484968A

    公开(公告)日:2023-07-25

    申请号:CN202310260194.8

    申请日:2023-03-10

    Abstract: 本说明书实施例提供一种训练生成模型、为文本分类器生成训练样本的方法及装置,在训练生成模型的方法中,针对第一文本样本分别进行第一处理和第二处理。其中,第一处理包括,通过第一编码器,确定第一文本样本的语义向量。通过文本分类器,基于语义向量,预测第一文本样本的第一类别,构建对应于第一类别的第一提示文本。第二处理包括,通过第二编码器,确定第一文本样本在目标向量空间中对应的第一离散向量。通过解码器,基于第一提示文本和第一离散向量,确定第一文本样本的重构文本。基于重构损失,训练生成模型,该重构损失基于第一文本样本和重构文本确定。

Patent Agency Ranking