神经网络模型的融合训练方法及装置

    公开(公告)号:CN111291886B

    公开(公告)日:2022-02-18

    申请号:CN202010131424.7

    申请日:2020-02-28

    Abstract: 本说明书实施例提供一种神经网络模型的融合训练方法及装置。通过神经网络模型的模型训练过程包括若干训练周期,每个训练周期对应于使用训练样本集中所有样本数据进行模型训练的过程,神经网络模型用于对输入的业务数据进行业务预测。在当前的第一训练周期中,当第一训练周期不是第一个训练周期时,基于第一训练周期之前的训练周期训练结束时得到的神经网络模型对第一样本数据的预测数据的累积,而得到的第一目标预测数据,即根据第一目标预测数据对待训练神经网络模型的训练过程进行调整,更新待训练神经网络模型。

    一种训练神经网络的方法及系统

    公开(公告)号:CN111079574A

    公开(公告)日:2020-04-28

    申请号:CN201911202734.7

    申请日:2019-11-29

    Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N层神经网络,第K层神经网络输出第一概率分布,第N层神经网络输出第二概率分布;其中,N大于K,N和K为大于0的整数;根据所述第一概率分布与所述第二概率分布,确定第一反馈信号;根据所述第一反馈信号调节1~K层神经网络的参数,使得所述1~K层神经网络学习所述第N层神经网络输出的第二概率分布,得到训练好的K层神经网络。

    一种自动扩充智能客服标准问题对的方法和系统

    公开(公告)号:CN110955766A

    公开(公告)日:2020-04-03

    申请号:CN201911210422.0

    申请日:2019-11-29

    Abstract: 本说明书实施例公开了一种自动扩充智能客服标准问题对的方法和系统。所述自动扩充智能客服标准问题对的方法包括:基于人工客服日志数据确定至少一个候选问题,所述人工客服日志数据记录用户问题以及针对所述用户问题人工客服给出的回答;判断标准问题库是否包含所述至少一个候选问题,否则确定所述候选问题为标准问题;所述标准问题库包含至少一个标准问题对;基于所述人工客服日志数据确定所述标准问题的标准回答;将所述标准问题和所述标准回答作为标准问题对,所述标准问题对用于智能客服。

    文本分类模型的训练方法和文本分类方法

    公开(公告)号:CN111241280B

    公开(公告)日:2023-09-05

    申请号:CN202010015197.1

    申请日:2020-01-07

    Abstract: 本说明书实施例提供一种文本分类模型的训练方法和文本分类方法。在一个实施例中,一种文本分类模型的训练方法,包括:获取训练样本集;将训练样本集中文本样本分别输入公有特征提取器和与文本样本关联的私有特征提取器,得到文本样本的第一特征和第二特征;将文本样本的第一特征和第二特征分别输入任务判别器,得到文本样本的第一任务判别结果和第二任务判别结果;基于文本样本的第一特征和第二特征,利用与文本样本关联的私有特征提取器对应的分类器,得到文本样本的分类结果;判断是否满足预设训练停止条件;若不满足,调整文本分类模型的参数,并继续训练调整后的文本分类模型,直至满足预设训练停止条件,得到训练后的文本分类模型。

    神经网络模型的训练方法及装置

    公开(公告)号:CN111368997B

    公开(公告)日:2022-09-06

    申请号:CN202010143596.6

    申请日:2020-03-04

    Abstract: 本说明书实施例提供一种神经网络模型的训练方法及装置,在训练方法中,基于在上一周期训练后的神经网络模型,分别确定在当前周期待训练的第一模型,以及用于辅助训练第一模型的第二模型。从样本集合中选取当前标定样本,并基于其执行以下步骤:将当前标定样本输入第一模型,得到第一概率分布。基于第一概率分布,确定当前标定样本的预测标签。将当前标定样本输入第二模型,得到第二概率分布。基于标定标签和预测标签,确定第一预测损失。基于第一概率分布和第二概率分布,确定第二预测损失。结合第一预测损失和第二预测损失,调整第一模型的参数。在全部样本选取完之后,将最后一次调整参数后的第一模型作为在当前周期训练后的神经网络模型。

    一种训练神经网络的方法及系统

    公开(公告)号:CN110991613B

    公开(公告)日:2022-08-02

    申请号:CN201911202733.2

    申请日:2019-11-29

    Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N+K层神经网络,第N层神经网络输出第一概率分布,第N+K层神经网络输出第二概率分布;其中,N和K为大于0的整数;根据所述第一概率分布与所述训练数据的标签,确定第一反馈信号;根据所述第二概率分布与所述训练数据的标签,确定第二反馈信号;根据所述第一反馈信号调节1~N层神经网络的参数,以及根据所述第二反馈信号调节1~N+K层神经网络的参数,得到训练好的N层神经网络。

    训练机器阅读模型的方法和装置

    公开(公告)号:CN111460127A

    公开(公告)日:2020-07-28

    申请号:CN202010566073.2

    申请日:2020-06-19

    Abstract: 本说明书实施例提供一种训练机器阅读模型的方法和装置,机器阅读模型用于根据问题和文档,预测问题在文档中的答案,方法包括:获取第一文档和第一问题集合;针对第一问题集合中的第一问题,将第一问题和第一文档输入机器阅读模型,得到第一问题在第一文档中的第一答案;将第一答案和第一文档输入问题生成模型,得到第一答案对应的第二问题;其中,机器阅读模型和问题生成模型互为对偶模型;根据第一问题和第二问题的差异,确定第一预测损失;以最小化第一预测损失为训练目标,执行对机器阅读模型和问题生成模型的第一训练。能够在缺乏训练数据的情况下实现机器阅读模型的训练。

    基于用户问句生成标准问题的方法和装置

    公开(公告)号:CN111221945A

    公开(公告)日:2020-06-02

    申请号:CN202010329631.3

    申请日:2020-04-24

    Abstract: 本说明书实施例提供一种基于用户问句生成标准问题的方法和装置,方法包括:获取目标用户与人工客服的第一多轮对话,所述第一多轮对话包括第一数目轮的用户问句和客服答案;提取所述第一多轮对话中第一数目轮的用户问句;对所述第一数目轮的用户问句至少进行拼接处理,得到第一输入文本;将所述第一输入文本输入预先训练的文本生成模型,得到所述第一多轮对话对应的标准问题。能够提高标准问题的生产效率,相应提升标准问题的覆盖率。

    一种提高模型训练效果的方法和系统

    公开(公告)号:CN111582500A

    公开(公告)日:2020-08-25

    申请号:CN202010375851.X

    申请日:2020-05-07

    Abstract: 本说明书实施例公开了一种提高模型训练效果的方法和系统,包括:获取多个训练样本,训练样本包括训练样本数据和样本标签;将训练样本输入学生模型和至少一个老师模型,分别得到第一处理结果和至少一个第二处理结果;老师模型来自老师模型集合;动态确定至少一个老师模型中每一个对训练样本的重要性,并基于重要性对至少一个第二处理结果进行计算,确定融合处理结果;基于第一处理结果、样本标签和融合处理结果确定学生模型的第一损失函数;基于第一损失函数对学生模型的参数进行更新,并将参数更新后的学生模型加入老师模型集合作为一个新的老师模型;迭代多次完成学生模型的训练;学生模型训练后用于处理语音、图像或者文本数据。

Patent Agency Ranking