一种文本生成方法、装置及电子设备

    公开(公告)号:CN111538831A

    公开(公告)日:2020-08-14

    申请号:CN202010502724.1

    申请日:2020-06-05

    Abstract: 本说明书一个或多个实施例提供一种文本生成方法、装置及电子设备;本说明书一个或多个实施例的方案,设计构建文本生成模型,该文本生成模型包括编码器和解码器,基于编码器-解码器的结构,由编码器对输入文本进行编码,并基于自注意力机制相应生成输入文本包括的各个词的自注意力特征来确定输出词来自输入文本的概率,还结合编码器在当前步生成的自注意力特征以及解码器在前一步生成的自注意力特征,来确定输出词来自词典的概率以及前一步的输出词对于当前步输出词的输出概率的影响,进而由解码器逐步输出输出词以最终得到输出文本。

    一种智能客户服务机器人训练数据的生成方法和系统

    公开(公告)号:CN111538822A

    公开(公告)日:2020-08-14

    申请号:CN202010330706.X

    申请日:2020-04-24

    Abstract: 本说明书实施例提供一种智能客户服务机器人训练数据的生成方法和系统。该方法包括获取若干个样本数据,所述样本数据包括若干个具有顺序的样本片段,所述样本片段来自智能客户服务机器人或用户;获取与所述样本数据相关的多个候选资料片段;在所述样本数据中获取第一片段,所述第一片段与所述候选资料片段相似度满足第一预设条件,且来自所述智能客户服务机器人;基于所述第一片段,在所述样本数据中获取第二片段,所述第二片段与所述第一片段关联度满足第二预设条件,且来自所述用户;基于所述第二片段和所述候选资料片段生成训练数据。

    基于用户问句生成标准问题的方法和装置

    公开(公告)号:CN111221945B

    公开(公告)日:2020-08-04

    申请号:CN202010329631.3

    申请日:2020-04-24

    Abstract: 本说明书实施例提供一种基于用户问句生成标准问题的方法和装置,方法包括:获取目标用户与人工客服的第一多轮对话,所述第一多轮对话包括第一数目轮的用户问句和客服答案;提取所述第一多轮对话中第一数目轮的用户问句;对所述第一数目轮的用户问句至少进行拼接处理,得到第一输入文本;将所述第一输入文本输入预先训练的文本生成模型,得到所述第一多轮对话对应的标准问题。能够提高标准问题的生产效率,相应提升标准问题的覆盖率。

    神经网络模型的训练方法及装置

    公开(公告)号:CN111368997A

    公开(公告)日:2020-07-03

    申请号:CN202010143596.6

    申请日:2020-03-04

    Abstract: 本说明书实施例提供一种神经网络模型的训练方法及装置,在训练方法中,基于在上一周期训练后的神经网络模型,分别确定在当前周期待训练的第一模型,以及用于辅助训练第一模型的第二模型。从样本集合中选取当前标定样本,并基于其执行以下步骤:将当前标定样本输入第一模型,得到第一概率分布。基于第一概率分布,确定当前标定样本的预测标签。将当前标定样本输入第二模型,得到第二概率分布。基于标定标签和预测标签,确定第一预测损失。基于第一概率分布和第二概率分布,确定第二预测损失。结合第一预测损失和第二预测损失,调整第一模型的参数。在全部样本选取完之后,将最后一次调整参数后的第一模型作为在当前周期训练后的神经网络模型。

    语义相似度确定方法、装置及处理设备

    公开(公告)号:CN111241851A

    公开(公告)日:2020-06-05

    申请号:CN202010329730.1

    申请日:2020-04-24

    Abstract: 本说明书提供一种语义相似度确定方法、装置及处理设备,预先建立的语义相似度模型从两个不同的角度处理句子对,既考虑了文本句子的维度,又结合了文本单词级交叉矩阵的角度。在需要对待处理文本进行语义相似度的计算时,可以直接利用建立好的语义相似度模型中的语句语义确定子模型对待处理文本分别进行语义编码,将待处理文本分别转换为向量表示,基于转换后的向量对待处理文本进行相似度计算。在确保语义相似度计算效率的基础上,提高了语义相似度计算的准确性。

    确定查询文本所对应标准文本的方法及装置

    公开(公告)号:CN110990533A

    公开(公告)日:2020-04-10

    申请号:CN201911203536.2

    申请日:2019-11-29

    Inventor: 张望舒 温祖杰

    Abstract: 本说明书实施例提供一种确定查询文本所对应标准文本的方法。该方法包括:首先,获取用户输入的查询文本。然后,一方面,将所述查询文本输入基于Bert的第一语义模型中,得到查询语义向量;另一方面,获取若干候选文本,所述若干候选文本是根据所述查询文本检索标准文本库而确定;再获取所述若干候选文本对应的若干候选语义向量,所述若干候选语义向量通过基于Bert的第二语义模型而确定。接着,将查询语义向量分别与若干候选语义向量进行综合处理,得到若干综合向量;再然后,分别将所述若干综合向量输入预先训练的关联度预测模型,得到所述查询文本与所述若干候选文本之间的若干关联度,以用于从所述若干候选文本中确定所述查询文本所对应的标准文本。

    用于推送反问标签的标签推送模型训练方法、装置及设备

    公开(公告)号:CN110909146A

    公开(公告)日:2020-03-24

    申请号:CN201911203510.8

    申请日:2019-11-29

    Inventor: 胡翔 温祖杰

    Abstract: 本说明书实施例提供一种用于推送反问标签的标签推送模型训练方法、装置及设备,在训练方法中,获取用户问句。将用户问句输入预先训练的分类模型,以得到用户问句对应于各标准问句的匹配概率。在标签推荐树中,从当前选中节点出发,基于各标准问句的匹配概率,采用蒙特卡洛树搜索算法,对标签推荐树进行N次模拟访问,以得到当前选中节点的子节点集合中各子节点的访问次数。基于各子节点的访问次数,选取目标子节点。将子节点集合对应的子标签集合作为第一状态,将目标子节点对应的句子标签作为第一动作,将第一状态和所述第一动作添加到训练样本序列中,该训练样本序列用于训练标签推送模型。标签推送模型用于根据用户问句向用户推送反问标签。

Patent Agency Ranking