-
公开(公告)号：CN111274789B
公开(公告)日：2021-07-06
申请号：CN202010081187.8
申请日：2020-02-06
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/211 , G06F40/216 , G06F40/284 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种计算机执行的文本预测模型的训练方法和装置。其中文本预测模型包括基于时序的第一预测网络，和第二预测网络，训练方法包括，将训练文本中第t个词输入第一预测网络，使其根据时序处理得到的状态向量确定对于下一个词的第一预测概率。此外，从缓存器中读取基于在先文本形成的若干片段向量，第二预测网络根据这些片段向量，得到对下一个词的第二预测概率。然后，以内插权重系数λ作为第二预测概率的加权系数，以1减去λ作为第一预测概率的加权系数，对二者加权综合，得到综合预测概率。至少根据该综合预测概率和第t+1个词，确定针对第t个词的预测损失，由此训练文本预测模型。
-
公开(公告)号：CN111737417B
公开(公告)日：2020-11-17
申请号：CN202010631294.3
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33 , G06F16/332
Abstract: 本说明书实施例提供一种修正自然语言生成结果的方法和装置。方法包括：首先获取本轮迭代中待修正的第一模板句子，该句子是针对对话动作而生成，该对话动作包括若干词槽。将第一模板句子输入指针改写器，指针改写器依次逐个确定待输出句子中各个输出位置的字符，从而生成修正的第二模板句子。然后对第二模板句子进行词槽提取，并判断所提取的词槽与若干词槽是否一致。若不一致，将第二模板句子确定为下一轮迭代的输入，并基于对话动作和该第二模板句子生成一条训练样本，添加到样本缓存器中。样本缓存器用于收集训练样本，所收集的训练样本用以训练指针改写器。
-
公开(公告)号：CN111523313B
公开(公告)日：2020-09-29
申请号：CN202010631307.7
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/284 , G06F40/295 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种模型训练、命名实体识别方法及装置。在模型训练时，将第一样本序列中的第一命名实体替换为第一预设字符，得到第二样本序列，并从第二样本序列中确定包含第一预设字符的文本片段；采用第一递归神经网络，递归地确定第二样本序列中多个分词的隐向量，并确定文本片段的表征向量；通过变分自编码器，基于表征向量构建高斯分布并确定针对文本片段的全局隐向量；采用第一递归神经网络，以全局隐向量作为初始隐向量，递归地确定文本片段中分词的解码隐向量，并确定文本片段中分词的预测值；基于文本片段中分词与其预测值的差异以及分布差异，确定预测损失值，向减小预测损失值的方向，更新第一递归神经网络和变分自编码器。
-
公开(公告)号：CN111274789A
公开(公告)日：2020-06-12
申请号：CN202010081187.8
申请日：2020-02-06
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/211 , G06F40/216 , G06F40/284 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种计算机执行的文本预测模型的训练方法和装置。其中文本预测模型包括基于时序的第一预测网络，和第二预测网络，训练方法包括，将训练文本中第t个词输入第一预测网络，使其根据时序处理得到的状态向量确定对于下一个词的第一预测概率。此外，从缓存器中读取基于在先文本形成的若干片段向量，第二预测网络根据这些片段向量，得到对下一个词的第二预测概率。然后，以内插权重系数λ作为第二预测概率的加权系数，以1减去λ作为第一预测概率的加权系数，对二者加权综合，得到综合预测概率。至少根据该综合预测概率和第t+1个词，确定针对第t个词的预测损失，由此训练文本预测模型。
-
公开(公告)号：CN112966520A
公开(公告)日：2021-06-15
申请号：CN202110150679.2
申请日：2021-02-03
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书实施例提供一种自然语言生成方法。该方法包括：首先，获取第一对话动作，其n个组成元素中包括动作类型，以及n‑1个词槽‑槽值对，并对该第一对话动作进行编码，得到对应n个组成元素的n个编码向量；然后，基于该n个编码向量进行解码，依次确定待输出的自然语言文本的各个位置的语义项，其中确定任意当前位置的语义项包括：先利用表达器集合中的各个表达器，各自对前一位置输出信息进行处理，得到对应输出，再利用模式切换器对各个表达器的输出进行加权融合，得到当前位置对应的当前状态向量和当前融合概率分布，进而根据该当前融合概率分布，确定当前语义项，其中当前状态向量和当前语义项作为当前位置输出信息。
-
Patent Agency Ranking
公开(公告)号：CN111523314B
公开(公告)日：2020-09-25
申请号：CN202010632209.5
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/284 , G06F40/295 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种模型对抗训练、命名实体识别方法及装置。在模型训练中，将第一样本序列中的第一命名实体替换为其对应的原始标签字符，得到第二样本序列，并从第二样本序列中确定包含替换的原始标签字符的第一文本片段，确定第一文本片段的分类标签值为第一值，用于表示已替换命名实体；采用特征提取网络，确定第二样本序列中多个分词的特征隐向量；基于第二样本序列中多个分词的特征隐向量，确定第一文本片段的第一片段向量，将第一片段向量输入第一判别器，得到第一预测值；基于第一预测值与第一值的差异，确定第一损失值；以最小化第一损失值为目标，更新第一判别器；以最大化第一损失值为目标，更新特征提取网络。
-
公开(公告)号：CN112966520B
公开(公告)日：2023-11-14
申请号：CN202110150679.2
申请日：2021-02-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/30 , G06N3/0455 , G06N3/047 , G06N3/0442
Abstract: 本说明书实施例提供一种自然语言生成方法。该方法包括：首先，获取第一对话动作，其n个组成元素中包括动作类型，以及n‑1个词槽‑槽值对，并对该第一对话动作进行编码，得到对应n个组成元素的n个编码向量；然后，基于该n个编码向量进行解码，依次确定待输出的自然语言文本的各个位置的语义项，其中确定任意当前位置的语义项包括：先利用表达器集合中的各个表达器，各自对前一位置输出信息进行处理，得到对应输出，再利用模式切换器对各个表达器的输出进行加权融合，得到当前位置对应的当前状态向量和当前融合概率分布，进而根据该当前融合概率分布，确定当前语义项，其中当前状态向量和当前语义项作为当前位置输出信息。
-
公开(公告)号：CN111737417A
公开(公告)日：2020-10-02
申请号：CN202010631294.3
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F16/33 , G06F16/332
Abstract: 本说明书实施例提供一种修正自然语言生成结果的方法和装置。方法包括：首先获取本轮迭代中待修正的第一模板句子，该句子是针对对话动作而生成，该对话动作包括若干词槽。将第一模板句子输入指针改写器，指针改写器依次逐个确定待输出句子中各个输出位置的字符，从而生成修正的第二模板句子。然后对第二模板句子进行词槽提取，并判断所提取的词槽与若干词槽是否一致。若不一致，将第二模板句子确定为下一轮迭代的输入，并基于对话动作和该第二模板句子生成一条训练样本，添加到样本缓存器中。样本缓存器用于收集训练样本，所收集的训练样本用以训练指针改写器。
-
公开(公告)号：CN111523314A
公开(公告)日：2020-08-11
申请号：CN202010632209.5
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/284 , G06F40/295 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种模型对抗训练、命名实体识别方法及装置。在模型训练中，将第一样本序列中的第一命名实体替换为其对应的原始标签字符，得到第二样本序列，并从第二样本序列中确定包含替换的原始标签字符的第一文本片段，确定第一文本片段的分类标签值为第一值，用于表示已替换命名实体；采用特征提取网络，确定第二样本序列中多个分词的特征隐向量；基于第二样本序列中多个分词的特征隐向量，确定第一文本片段的第一片段向量，将第一片段向量输入第一判别器，得到第一预测值；基于第一预测值与第一值的差异，确定第一损失值；以最小化第一损失值为目标，更新第一判别器；以最大化第一损失值为目标，更新特征提取网络。
-
公开(公告)号：CN111523313A
公开(公告)日：2020-08-11
申请号：CN202010631307.7
申请日：2020-07-03
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06F40/284 , G06F40/295 , G06N3/04 , G06N3/08
Abstract: 本说明书实施例提供一种模型训练、命名实体识别方法及装置。在模型训练时，将第一样本序列中的第一命名实体替换为第一预设字符，得到第二样本序列，并从第二样本序列中确定包含第一预设字符的文本片段；采用第一递归神经网络，递归地确定第二样本序列中多个分词的隐向量，并确定文本片段的表征向量；通过变分自编码器，基于表征向量构建高斯分布并确定针对文本片段的全局隐向量；采用第一递归神经网络，以全局隐向量作为初始隐向量，递归地确定文本片段中分词的解码隐向量，并确定文本片段中分词的预测值；基于文本片段中分词与其预测值的差异以及分布差异，确定预测损失值，向减小预测损失值的方向，更新第一递归神经网络和变分自编码器。
-
-
-
-
-
-
-
-
-
Search Results
10
records
(took 0.023 seconds)
