-
公开(公告)号:CN111460127A
公开(公告)日:2020-07-28
申请号:CN202010566073.2
申请日:2020-06-19
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F40/169 , G06F40/205 , G06N20/00
Abstract: 本说明书实施例提供一种训练机器阅读模型的方法和装置,机器阅读模型用于根据问题和文档,预测问题在文档中的答案,方法包括:获取第一文档和第一问题集合;针对第一问题集合中的第一问题,将第一问题和第一文档输入机器阅读模型,得到第一问题在第一文档中的第一答案;将第一答案和第一文档输入问题生成模型,得到第一答案对应的第二问题;其中,机器阅读模型和问题生成模型互为对偶模型;根据第一问题和第二问题的差异,确定第一预测损失;以最小化第一预测损失为训练目标,执行对机器阅读模型和问题生成模型的第一训练。能够在缺乏训练数据的情况下实现机器阅读模型的训练。
-
公开(公告)号:CN111460126A
公开(公告)日:2020-07-28
申请号:CN202010533197.0
申请日:2020-06-12
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F40/289 , G06F40/30 , G06F40/253 , G06N3/04 , G06N3/08
Abstract: 本说明书一个或多个实施例提供一种用于人机对话系统的回复生成方法、装置及电子设备,通过预先训练的回复生成模型,将用户与机器人的问题和回复输入,通过第一编码器层进行自注意力和局部掩码处理,使模型充分利用问题和回复各自语句内的语义特征,再通过第二编码器层自注意力和全局掩码处理,使得模型充分利用当前以及之前的所有问题和回复的上下文语义特征,并基于第二编码器层的输出来生成对应于用户当前问题的当前回复。
-
公开(公告)号:CN111382271A
公开(公告)日:2020-07-07
申请号:CN202010156375.2
申请日:2020-03-09
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种文本分类模型的训练方法,此方法包括:首先,获取N个原始文本和对应的N个文本类别标签,其中N为大于1的正整数;接着,对N个原始文本进行拼接,得到拼接文本;然后,分别对N个文本类别标签进行独热编码,得到N个类别标签向量;再接着,对N个类别标签向量进行平均处理,得到综合标签向量;再然后,将该拼接文本输入文本分类模型中,得到综合分类结果;再基于该综合分类结果和该综合标签向量,训练所述文本分类模型。此外,本说明书实施例还提供一种文本分类方法,此方法包括:获取待分类的目标文本,并对其复制得到N个目标文本,进行拼接后输入利用上述训练方法得到的文本分类模型中,得到目标文本的文本分类结果。
-
公开(公告)号:CN111324738A
公开(公告)日:2020-06-23
申请号:CN202010409780.0
申请日:2020-05-15
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书的实施例公开了一种确定文本标签的方法和系统,所述方法包括:获取文本,所述文本对应至少一个候选标签;基于文本和至少一个候选标签中的一个组成文本标签对;将文本标签对输入判断模型,所述判断模型包含至少一个交互模型,判断模型基于交互模型输出的文本标签对中候选标签的交互编码,确定候选标签是否为文本的真实标签;其中,所述交互模型包含第一编码模型,所述第一编码模型基于第一多头注意力机制,得到候选标签的交互编码;其中:文本的编码作为第一多头注意力机制中计算K和V的输入,候选标签的编码作为第一多头注意力机制中计算Q的输入。
-
公开(公告)号:CN111221945A
公开(公告)日:2020-06-02
申请号:CN202010329631.3
申请日:2020-04-24
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33
Abstract: 本说明书实施例提供一种基于用户问句生成标准问题的方法和装置,方法包括:获取目标用户与人工客服的第一多轮对话,所述第一多轮对话包括第一数目轮的用户问句和客服答案;提取所述第一多轮对话中第一数目轮的用户问句;对所述第一数目轮的用户问句至少进行拼接处理,得到第一输入文本;将所述第一输入文本输入预先训练的文本生成模型,得到所述第一多轮对话对应的标准问题。能够提高标准问题的生产效率,相应提升标准问题的覆盖率。
-
公开(公告)号:CN111198949A
公开(公告)日:2020-05-26
申请号:CN202010276658.0
申请日:2020-04-10
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/35 , G06F40/284 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种文本标签确定方法和系统。该方法包括:获取待分析文本;将所述待分析文本向量化后得到文本向量,并存入记忆组件;将候选标签向量化以确定查询向量;基于所述查询向量和所述记忆组件中的文本向量确定关系向量;基于所述关系向量通过分类模型判断所述候选标签是否为所述待分析文本的标签。
-
公开(公告)号:CN110688471A
公开(公告)日:2020-01-14
申请号:CN201910942797.X
申请日:2019-09-30
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06K9/62
Abstract: 本说明书实施例提供一种训练样本获取方法、装置及设备,在获取方法中,收集两批已标注样本,包括第一批样本和第二批样本。第一批样本中的样本包括第一用户问句和第一标签,第一标签通过人工的方式标注。第二批样本中的样本包括第二用户问句和第二标签,第二标签通过自动的方式标注。基于第一批样本,训练样本分类模型。对于第二批样本,将第二用户问句输入样本分类模型,以得到第二用户问句对应于预定义的各个类别的预测概率。基于第二用户问句对应于预定义的各个类别的预测概率以及第二标签,确定预测结果与真实结果之间的差异度。当差异度大于第一阈值时,对第一样本进行编辑。基于编辑后的第二批样本和所述第一批样本,确定最终的训练样本。
-
公开(公告)号:CN110516060A
公开(公告)日:2019-11-29
申请号:CN201911018680.9
申请日:2019-10-24
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F16/35 , B25J11/00
Abstract: 本说明书实施例提供用于确定问题答案的方法及装置。该方法由问答装置执行,该问答装置具备利用多个问答引擎进行问题答案确定的能力,多个问答引擎中的召回模型和第一评价模型分别组成召回模型层和评价模型层。在该方法中,使用召回模型层中的各个召回模型来分别获取问题的答案;将经由各个召回模型得到的答案提供给各个第一评价模型来分别进行评价,以得到各个答案的第一评价结果集,第一评价结果集包括基于各个第一评价模型得到的第一评价结果;针对各个答案,对所得到的第一评价结果集中的各个第一评价结果进行聚合处理,以得到该答案的第二评价结果;以及根据各个答案的第二评价结果进行答案评估,以确定问题的至少一个目标答案。
-
公开(公告)号:CN112016299B
公开(公告)日:2023-11-14
申请号:CN202010898079.X
申请日:2020-08-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/211 , G06F40/289 , G06F40/284 , G06N3/0464 , G06N3/0442
Abstract: 本说明书实施例了提供一种生成依存句法树的方法及装置。该方法包括:在嵌入层,对待分析句子中各个位置对应的各个字分别进行嵌入处理,得到所述各个字各自的特征向量;在字关系生成层,利用自注意力机制,基于第一字的特征向量和第二字的特征向量,确定第一字到第二字的字间依存度;第一字和第二字为所述待分析句子中两个不同位置的字;在词关系生成层,基于第一词中的字到第二词中的字的字间依存度,确定第一词到第二词的词间依存度,第一词和第二词为所述待分析句子所包含的多个词中的两个不同词;在输出层,基于所述多个词中各词相互的词间依存度,确定依存句法树。该方法可以减少集外词情况的发生,具有较高的新词容错能力。
-
公开(公告)号:CN116775825A
公开(公告)日:2023-09-19
申请号:CN202310660565.1
申请日:2023-06-05
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/332 , G06F18/214 , G06F18/22 , G06F18/24 , G06N3/092
Abstract: 本公开提出了一种机器阅读模型优化方法和系统。该方法包括:获取目标领域中的对话日志;基于该对话日志来构建样本集合,该样本集合包括一个或多个样本问题和对应样本答案;将该样本集合中的样本问题和该目标领域的知识库文档输入到机器阅读模型,以获得样本问题的预测答案;基于样本问题的预测答案与对应样本答案的比较来确定模型质量度量和样本质量度量;对该机器阅读模型和该样本集合进行联合优化以使该模型质量度量和该样本质量度量满足相应预设条件,从而获得经优化的机器阅读模型。
-
-
-
-
-
-
-
-
-