公开(公告)号：CN111538831B

公开(公告)日：2023-04-18

申请号：CN202010502724.1

申请日：2020-06-05

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 梁忠平 ,  温祖杰 ,  张琳

IPC: G06F16/34 ,  G06F16/332 ,  G06F40/205 ,  G06F40/289 ,  G06N3/0442 ,  G06N3/08

Abstract: 本说明书一个或多个实施例提供一种文本生成方法、装置及电子设备；本说明书一个或多个实施例的方案，设计构建文本生成模型，该文本生成模型包括编码器和解码器，基于编码器‑解码器的结构，由编码器对输入文本进行编码，并基于自注意力机制相应生成输入文本包括的各个词的自注意力特征来确定输出词来自输入文本的概率，还结合编码器在当前步生成的自注意力特征以及解码器在前一步生成的自注意力特征，来确定输出词来自词典的概率以及前一步的输出词对于当前步输出词的输出概率的影响，进而由解码器逐步输出输出词以最终得到输出文本。

公开(公告)号：CN110991613B

公开(公告)日：2022-08-02

申请号：CN201911202733.2

申请日：2019-11-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 蒋亮 ,  温祖杰 ,  梁忠平 ,  张家兴

IPC: G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括：将训练数据输入N+K层神经网络，第N层神经网络输出第一概率分布，第N+K层神经网络输出第二概率分布；其中，N和K为大于0的整数；根据所述第一概率分布与所述训练数据的标签，确定第一反馈信号；根据所述第二概率分布与所述训练数据的标签，确定第二反馈信号；根据所述第一反馈信号调节1～N层神经网络的参数，以及根据所述第二反馈信号调节1～N+K层神经网络的参数，得到训练好的N层神经网络。

公开(公告)号：CN111460126A

公开(公告)日：2020-07-28

申请号：CN202010533197.0

申请日：2020-06-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 梁忠平 ,  温祖杰 ,  张琳

IPC: G06F16/332 ,  G06F40/289 ,  G06F40/30 ,  G06F40/253 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书一个或多个实施例提供一种用于人机对话系统的回复生成方法、装置及电子设备，通过预先训练的回复生成模型，将用户与机器人的问题和回复输入，通过第一编码器层进行自注意力和局部掩码处理，使模型充分利用问题和回复各自语句内的语义特征，再通过第二编码器层自注意力和全局掩码处理，使得模型充分利用当前以及之前的所有问题和回复的上下文语义特征，并基于第二编码器层的输出来生成对应于用户当前问题的当前回复。

公开(公告)号：CN111324738A

公开(公告)日：2020-06-23

申请号：CN202010409780.0

申请日：2020-05-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 梁忠平 ,  温祖杰 ,  张家兴

IPC: G06F16/35 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书的实施例公开了一种确定文本标签的方法和系统，所述方法包括：获取文本，所述文本对应至少一个候选标签；基于文本和至少一个候选标签中的一个组成文本标签对；将文本标签对输入判断模型，所述判断模型包含至少一个交互模型，判断模型基于交互模型输出的文本标签对中候选标签的交互编码，确定候选标签是否为文本的真实标签；其中，所述交互模型包含第一编码模型，所述第一编码模型基于第一多头注意力机制，得到候选标签的交互编码；其中：文本的编码作为第一多头注意力机制中计算K和V的输入，候选标签的编码作为第一多头注意力机制中计算Q的输入。

公开(公告)号：CN111198949A

公开(公告)日：2020-05-26

申请号：CN202010276658.0

申请日：2020-04-10

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 梁忠平 ,  温祖杰 ,  张家兴

IPC: G06F16/35 ,  G06F40/284 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例提供一种文本标签确定方法和系统。该方法包括：获取待分析文本；将所述待分析文本向量化后得到文本向量，并存入记忆组件；将候选标签向量化以确定查询向量；基于所述查询向量和所述记忆组件中的文本向量确定关系向量；基于所述关系向量通过分类模型判断所述候选标签是否为所述待分析文本的标签。

公开(公告)号：CN111078972A

公开(公告)日：2020-04-28

申请号：CN201911199034.7

申请日：2019-11-29

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 张琳 ,  梁忠平

IPC: G06F16/907 ,  G06F16/9032 ,  G06F16/904 ,  G06Q30/00

Abstract: 本说明书提供了提问行为数据的获取方法、装置和服务器。在一个实施例中，提问行为数据的获取方法通过先利用预设的关联标签确定模型根据用户所提的目标问题，确定出与该目标问题的近似程度大于预设的近似程度阈值的多个目标标签；再根据预设的排序规则，排列上述多个目标标签，得到对应目标标签点击序列，进而可以将上述目标标签点击序列作为一种用户提问目标问题时的行为数据。这样可以不需要依赖用户真实地去点击所展示的标签来描述自己想要提问的目标问题，就能高效地获取到具有较高的参考价值的用户提问目标问题时的行为数据。