一种训练神经网络的方法及系统

    公开(公告)号:CN110991613A

    公开(公告)日:2020-04-10

    申请号:CN201911202733.2

    申请日:2019-11-29

    Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括:将训练数据输入N+K层神经网络,第N层神经网络输出第一概率分布,第N+K层神经网络输出第二概率分布;其中,N和K为大于0的整数;根据所述第一概率分布与所述训练数据的标签,确定第一反馈信号;根据所述第二概率分布与所述训练数据的标签,确定第二反馈信号;根据所述第一反馈信号调节1~N层神经网络的参数,以及根据所述第二反馈信号调节1~N+K层神经网络的参数,得到训练好的N层神经网络。

    为预测模型生成样本、预测模型训练的方法及装置

    公开(公告)号:CN110704599A

    公开(公告)日:2020-01-17

    申请号:CN201910942807.X

    申请日:2019-09-30

    Abstract: 本说明书实施例提供一种为预测模型生成样本可以使用大量选择数据为预测模型生成训练样本,并且在样本生成过程中,通过使用标准样本训练的初始预测模型作为指引,减少选择数据中的噪声干扰,提高生成的训练样本的有效性。本说明书实施例还提供一种训练预测模型的方法和装置,将以上训练样本用于训练预测模型,大大扩充了样本数量,可以减少人工打标的工作量,还可以增强预测模型的抗噪能力,大大提高预测模型的准确度。

    对模型进行动态更新的方法及装置

    公开(公告)号:CN110689359A

    公开(公告)日:2020-01-14

    申请号:CN201910942780.4

    申请日:2019-09-30

    Inventor: 张望舒 温祖杰

    Abstract: 本说明书实施例提供一种对模型进行动态更新的方法和装置,根据该方法的一个实施方式,获取对应n个新增标签的m条训练数据,单个新增标签对应至少一条训练数据,m大于n;在当前模型的输出层添加n个输出节点,其中,n个输出节点与n个新增标签一一对应;基于输出层增加的n个输出节点,在当前模型的各个隐藏层分别按照预定规则增加至少一个隐藏层节点;使用m条训练数据对当前模型进行增量训练,得到增量模型;基于对增量模型的规模控制,完成模型的动态更新。该实施方式的重复执行可以提高模型的更新效率,以及模型的有效性。

    用于对话推荐物品的交互方法、模型训练方法和装置

    公开(公告)号:CN116932899A

    公开(公告)日:2023-10-24

    申请号:CN202310873184.1

    申请日:2023-07-14

    Inventor: 孔心宇 温祖杰

    Abstract: 本说明书的实施例提供了一种用于对话推荐物品的交互方法和装置。在该用于对话推荐物品的交互方法中,获取目标用户的对话交互历史和当前候选信息集,其中,对话交互历史包括最近一轮对话中的历史行为和目标用户针对历史行为的反馈;根据对话交互历史和当前候选信息集确定目标用户的当前状态特征表征;将当前状态特征表征和最近对话交互特征表征提供给策略网络,得到与目标用户对应的策略表征;将策略表征提供给物品推荐行为预测模型,得到从当前候选信息集中确定的当前预测行为信息,其中,当前预测行为信息包括从当前候选属性信息集中确定的与目标用户的当前状态匹配的候选属性信息或从当前候选物品信息集中确定的候选物品信息。

    一种文本分类方法、装置及电子设备

    公开(公告)号:CN111104516B

    公开(公告)日:2023-07-04

    申请号:CN202010084986.0

    申请日:2020-02-10

    Abstract: 本说明书一个或多个实施例提供一种文本分类方法、装置及电子设备,基于BERT模型,所述BERT模型包括:至少两个依次连接的编码器层;所述方法,包括:将待分类文本输入所述BERT模型;采集每个所述编码器层的输出,得到对应于所述待分类文本的至少两个特征表示信息;融合至少两个所述特征表示信息,得到融合后的特征表示信息;融合后的特征表示信息充分利用每一编码器层的输出,且准确反映了文本所蕴含的词法和语法信息;根据所述融合后的特征表示信息,确定所述待分类文本的类型。

    舆情预警模型的训练方法、预警方法、装置、设备及介质

    公开(公告)号:CN111144575B

    公开(公告)日:2022-08-12

    申请号:CN201911235651.8

    申请日:2019-12-05

    Abstract: 本说明书的一个或多个实施例公开了一种舆情预警模型的训练方法、预警方法、装置、设备及介质,该舆情预警模型包括宽度学习模型和深度学习模型,该训练方法包括:获取舆情样本训练集,舆情样本训练集中的舆情样本包括元信息特征、内容特征以及舆情标签;将元信息特征输入宽度学习模型,以获取元信息特征处理结果;将内容特征输入深度学习模型,以获取内容特征处理结果;根据元信息特征处理结果和内容特征处理结果,确定舆情预警结果;根据舆情预警结果以及舆情标签,调整宽度学习模型和深度学习模型的参数。

    一种编码网络的训练方法、文本编码方法和系统

    公开(公告)号:CN113095040A

    公开(公告)日:2021-07-09

    申请号:CN202110410042.2

    申请日:2021-04-16

    Inventor: 胡翔 温祖杰

    Abstract: 本说明书实施例提供了一种编码网络的训练方法、文本编码方法和系统,包括:获取训练文本;确定训练文本中的遮罩片段;通过编码模型确定训练文本中的遮罩片段的上文向量表示和下文向量表示;基于上文向量表示和下文向量表示,通过预测模型确定遮罩片段中各字符对应的出现概率;基于包含出现概率项的损失函数更新编码模型和预测模型的参数;其中,编码模型以及预测模型分别具有编码网络,且共享编码网络的参数,还包括:基于所的字符向量序列,通过编码模型进行多次处理以获得文本中两个或以上连续字符组成的字符串的向量表示,编码模型用于接收第一向量表示与第二向量表示,输出组合向量表示及组合概率值。

    查询文档排序方法、装置及电子设备

    公开(公告)号:CN112364146A

    公开(公告)日:2021-02-12

    申请号:CN202011365079.X

    申请日:2020-11-27

    Inventor: 张望舒 温祖杰

    Abstract: 本说明书一个或多个实施例提供一种查询文档排序方法、装置及电子设备,包括:基于用户输入的查询问句和与所述查询问句对应的多个查询文档,构建输入向量;其中,所述输入向量中与各个查询文档对应的位置上被分别添加了代表所述查询文档的语义的预设标识;将所述输入向量输入至BERT模型进行语义表示计算,并获取所述BERT模型输出的与各个预设标识对应的语义向量;将与各个预设标识对应的语义向量输入至训练完成的排序学习模型,计算与各个语义向量对应的匹配度评分,并输出按照所述匹配度评分进行排序的排序结果。

    一种指代消解文本的生成方法、装置及电子设备

    公开(公告)号:CN111401036B

    公开(公告)日:2020-09-25

    申请号:CN202010467473.8

    申请日:2020-05-28

    Inventor: 梁忠平 温祖杰

    Abstract: 本说明书一个或多个实施例提供一种指代消解文本的生成方法、装置及电子设备;本说明书一个或多个实施例的方案,基于端到端的模式设计指代消解文本生成模型,该指代消解文本生成模型使用编码器‑解码器的结构,将输入的用户的历史对话文本和该用户的当前输入文本进行编码,并基于自注意力机制相应生成史对话文本和当前输入文本包括的各个词的自注意力特征,进一步结合编码器生成的自注意力特征以及解码器生成的自注意力特征,由解码器逐步输出输出词以最终得到对应于当前输入文本的指代消解文本。

    数据编码以及信息推荐方法、装置和设备

    公开(公告)号:CN111506822A

    公开(公告)日:2020-08-07

    申请号:CN202010471060.7

    申请日:2020-05-28

    Abstract: 本申请的提出数据编码以及信息推荐方法、装置和设备。该方法包括:将用于确定注意力权重的状态数据,输入第一神经网络,得到第一编码向量。将用户长期行为数据,以及该长期行为的发生时刻,与该长期行为的上一次长期行为的发生时刻之间的第一间隔时长数据,输入第二神经网络,得到第二编码向量。将用户短期行为数据,以及该短期行为的发生时刻,与该短期行为的上一次短期行为的发生时刻之间的第二间隔时长数据,输入第三神经网络,得到第三编码向量。根据上述第一编码向量,确定注意力权重向量。基于上述注意力权重向量,对上述第二编码向量与上述第三编码向量进行编码。

Patent Agency Ranking