公开(公告)号：CN111368059A

公开(公告)日：2020-07-03

申请号：CN202010461146.1

申请日：2020-05-27

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 杨明晖 ,  林川杰 ,  刘威 ,  崔恒斌 ,  刘洋

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/35 ,  G06F16/335 ,  H04L12/58

Abstract: 本说明书提供的群聊机器人自主应答的方法和系统，在接收到所述目标通讯群中的目标用户发送的输入语句后，基于输入语句和预设的知识库生成一个与输入语句相关的候选列表，并将所述候选列表发送给目标客户端或包括目标客户端在内的第一组客户端，以降低对其他用户的影响；在第一组客户端的管理客户端对候选列表做出选择后，再将与选择匹配的目标答案发送给第二组客户端。所述方法不仅可以主动对用户提出的问题进行回答，同时又不会对群聊中的其他用户造成干扰，在提升工作效率的同时，又可以提升用户体验。

公开(公告)号：CN118918094A

公开(公告)日：2024-11-08

申请号：CN202411103710.7

申请日：2024-08-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 曹雨 ,  杨明晖

IPC: G06T7/00 ,  G06T7/73

Abstract: 本说明书实施例提供了数字人穿模检测方法及装置。该方法包括：根据数字人的各肢体部位各自的表面顶点在当前姿态下的第一坐标，构建各肢体部位各自的有向距离场；对于数字人的第一肢体部位，根据第一肢体部位的表面顶点关于第二肢体部位的有向距离场的取值，确定第一肢体部位关于第二肢体部位的第一穿模度；根据第一穿模度，确定第一肢体部位是否与第二肢体部位发生穿模。

公开(公告)号：CN118840457A

公开(公告)日：2024-10-25

申请号：CN202410940132.6

申请日：2024-07-12

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 曹雨 ,  杨明晖 ,  朱帅

IPC: G06T13/40

Abstract: 本说明书实施例涉及数字人动作重定向方法及装置，用于将第一骨骼的动作迁移至第二骨骼，第一骨骼包含从第一起始关节开始、由第一数目个依次连接的关节组成的第一骨链；第二骨骼包含从第二起始关节开始、由第二数目个依次连接的关节组成的第二骨链；第一骨链和第二骨链之间具有预先确定的对应关系；方法包括：首先，对于第二骨链上任意的第二目标关节，确定其与第二起始关节之间的关节数量与第二数目的第二比例。然后，在第一骨链上确定第一目标关节，使得第一目标关节与第一起始关节之间的关节数量与第一数目的比例为第二比例。最后，根据第一起始关节与第一目标关节之间的各个关节的旋转变换参数，确定第二目标关节的旋转变换参数。

公开(公告)号：CN118227082A

公开(公告)日：2024-06-21

申请号：CN202410424761.3

申请日：2024-04-09

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 杨明晖 ,  朱帅

IPC: G06F3/16 ,  G06N20/00

Abstract: 本公开提供一种数字人的控制方法、文本大模型的训练方法、系统，包括：获得提示，提示包括待执行任务、动作候选集、待处理文本，待执行任务用于指示在待处理文本中插入与待处理文本对应的动作标签，动作候选集中包括动作标签列表，将提示输入至预设大模型，得到预测文本，预测文本包括待处理文本、以及插入至待处理文本中的目标动作标签，目标动作标签对应目标动作，根据预测文本控制数字人输出交互视频，交互视频包括数字人播报待处理文本、以及数字人执行的目标动作，以提高对数字人控制的准确性和可靠性。

公开(公告)号：CN116978354B

公开(公告)日：2024-04-30

申请号：CN202310963940.X

申请日：2023-08-01

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 薛吕欣 ,  胡翔 ,  伏冠宇 ,  金春祥 ,  杨明晖

IPC: G10L13/10 ,  G10L13/047

Abstract: 本说明书实施例提供了韵律预测模型的训练方法及装置、语音合成方法及装置。该训练方法包括：利用韵律预测模型包括的编码器对样本字符序列进行编码处理，得到编码结果；利用切分值预测网络处理该编码结果，从而针对各相邻字符之间的各位置，预测得到在该位置处进行语义切分的切分值；基于各位置的切分值，生成表征样本字符序列的句法的第一句法二叉树；利用预训练的结构化语言模型，针对样本字符序列生成第二句法二叉树；基于第一句法二叉树和第二句法二叉树，确定结构损失；以最小化总预测损失为目标，调整该编码器的参数；其中,总预测损失基于结构损失确定、且与结构损失正相关。

公开(公告)号：CN117077723A

公开(公告)日：2023-11-17

申请号：CN202311029446.2

申请日：2023-08-15

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 朱帅 ,  杨明晖 ,  曹雨

IPC: G06N3/008 ,  G06N3/0464

Abstract: 本说明书实施例涉及一种数字人动作生产方法及装置，所述方法首先获取包含人体的目标图像，然后使用目标神经网络处理目标图像，目标神经网络包括特征提取层，注意力层和预测层，其中，特征提取层用于提取反映各个图像元素与各个关节关系的关节特征，以及各个图像元素的姿态特征；注意力层用于基于所述关节特征对姿态特征进行注意力处理，得到目标特征，预测层用于基于所述目标特征，预测各个关节的旋转角；然后，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件；然后，从若干数字人模型中获取第一数字人模型，根据目标驱动文件，将参数化人体模型动作重定向到第一数字人模型上，生成并存储第一数字人模型的第一驱动文件。

公开(公告)号：CN113221555B

公开(公告)日：2023-11-14

申请号：CN202110493880.0

申请日：2021-05-07

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈显玲 ,  陈晓军 ,  崔恒斌 ,  杨明晖

IPC: G06F40/289 ,  G06F40/30 ,  G06N3/04 ,  G06N3/08

Abstract: 本说明书实施例公开了一种基于多任务模型的关键词识别方法、装置以及设备。方案包括：获取训练文本，为训练文本中的各字符分别标注第一标签，以表示对应的字符是否位于其所在词的起始位置或者终止位置；为训练文本中的各字符分别标注第二标签，以表示对应的字符所在词是否为关键词；根据第一标签确定第一训练任务，以及根据第二标签确定第二训练任务；将第一训练任务和第二训练任务进行联合训练，得到关键词识别模型；利用关键词识别模型，识别输入文本中的关键词。

公开(公告)号：CN116958348A

公开(公告)日：2023-10-27

申请号：CN202310745636.8

申请日：2023-06-21

Applicant: 支付宝(杭州)信息技术有限公司 ,  浙江大学

Inventor： 鲍虎军 ,  周晓巍 ,  皮怀瑾 ,  朱帅 ,  杨明晖

IPC: G06T13/40 ,  G06T7/70 ,  G06N3/0455 ,  G06N3/047 ,  G06N3/0475

Abstract: 本说明书实施例涉及一种数字人和物体的交互动作生成方法及装置，所述方法包括：获取目标条件数据，其中包括数字人初始状态的位姿信息、目标物体数据，以及数字人和目标物体进行交互的目标状态的位姿信息；利用第一扩散模型确定N个里程碑数据，所述里程碑为所述数字人从初始位置移动到目标位置的轨迹上的点；利用第二扩散模型确定数字人在任一里程碑上的姿态；利用第三扩散模型确定数字人在相邻里程碑之间的轨迹上的若干个轨迹点数据；利用第四扩散模型确定数字人在任一轨迹点上的姿态。然后根据多个轨迹点数据和数字人在任一轨迹点上的姿态，确定出数字人从初始位置移动到目标位置的动作序列。

公开(公告)号：CN111353290B

公开(公告)日：2023-07-14

申请号：CN202010126592.7

申请日：2020-02-28

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 杨明晖 ,  李哲 ,  刘威

IPC: G06F40/194 ,  G06F40/126 ,  G06F18/22 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/084 ,  G06N20/00 ,  H04L51/02 ,  H04L51/04

Abstract: 本说明书实施例公开了一种自动响应用户询问的方法和系统，所述方法包括：获取用户的询问内容以及所述询问对应的至少一个特征参数；基于所述用户的询问内容从知识库中确定至少一个候选问题以及所述至少一个候选问题对应的回答；基于所述用户的询问内容、所述至少一个候选问题以及所述询问对应的至少一个特征参数，采用判断模型判断所述至少一个候选问题对应的回答使得所述用户满意的信心分；判断所述信心分是否大于预设阈值，是则输出所述至少一个候选问题对应的回答；否则执行相应的提醒动作。

公开(公告)号：CN111401076B

公开(公告)日：2023-04-25

申请号：CN202010272706.9

申请日：2020-04-09

Applicant: 支付宝(杭州)信息技术有限公司

Inventor： 陈晓军 ,  杨明晖 ,  陈显玲 ,  崔恒斌

IPC: G06F40/30 ,  G06F40/289 ,  G06N3/044

Abstract: 本说明书一个或多个实施例提供一种文本的相似度确定方法、装置和电子设备；所述方法包括：获取第一文本和第二文本；根据所述第一文本和第二文本，得到对应于所述第一文本和所述第二文本的文本表示向量；根据所述第一文本和第二文本，确定共有单字表示向量和差异单字表示向量；其中，所述共有单字表示向量对应于在所述第一文本和所述第二文本中均存在的单字，所述差异单字表示向量对应于仅在所述第一文本和所述第二文本之一中存在的单字；根据所述文本表示向量、所述共有单字表示向量和所述差异单字表示向量，得到对应于所述第一文本和所述第二文本的文本特征向量；根据所述文本特征向量，确定所述第一文本和所述第二文本的相似度。