-
公开(公告)号：CN118692484A
公开(公告)日：2024-09-24
申请号：CN202410940948.9
申请日：2024-07-12
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本说明书提供一种唇形确定方法，获取数字人带播报的文本数据，并确定文本数据中每个音素的播报时间段，将每个音素的播报时间段均划分为三个时间段，其中，三个之间段的中间的时间段，可以通过查音素‑唇形映射表来确定所需维持的关键帧唇形，另外两个时间段可以利用该音素的关键帧唇形分别和该音素前后的关键帧唇形之间的插值来确定。这样，将每个音素的播报时间段划分为三份，仅中间的时间段用于维持当前音素的唇形，另外的时间段都用于和前一个音素的唇形或后一个音素的唇形之间进行过渡，这样可以使得唇形变化更加逼真自然。
-
公开(公告)号：CN116993873A
公开(公告)日：2023-11-03
申请号：CN202310957070.5
申请日：2023-07-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06F16/33 , G06F40/211 , G06F40/284 , G06F40/289 , G06F40/30
Abstract: 本说明书实施例涉及一种数字人动作编排方法及装置，所述方法的输入包括目标文本对应的第一词语序列和第一动作集合，第一动作集合中包含若干动作，任一动作具有预设的触发词以及对应的动作持续时长；然后，根据动作对应的触发词，将所述第一词语序列中的各个词语与所述第一动作集合的动作进行匹配，得到第一匹配结果，第一匹配结果中包含各个词语对应的备选动作集合；然后，根据各个词语在所述目标文本中的位置，以及动作的动作持续时长，从所述第一匹配结果中确定一组在时间维度上没有重叠的动作序列，得到第一动作序列，所述第一动作序列用于指示所述数字人在播报所述目标文本时做出相应的动作。
-
公开(公告)号：CN116150476A
公开(公告)日：2023-05-23
申请号：CN202211524991.4
申请日：2022-11-30
Applicant: 支付宝(杭州)信息技术有限公司 , 华中科技大学
IPC: G06F16/9535 , G06N3/042 , G06N3/044 , G06N3/0442 , G06N3/0499 , G06N3/0455 , G06N3/092
Abstract: 本说明书的实施例提供了一种用于对话推荐物品的交互方法、模型训练方法和装置。在该用于对话推荐物品的交互方法中，获取目标用户的对话历史和候选信息集，对话历史包括至少一轮对话中的历史行为和目标用户针对历史行为的反馈；根据对话历史和候选信息集确定目标用户的当前状态编码；将当前状态编码提供给行为预测模型，得到预测行为，预测行为包括对目标用户询问属性或推荐物品；将当前状态编码提供给候选信息确定模型，得到与预测行为相匹配的目标候选信息，目标候选信息包括从与预测行为相匹配的候选属性信息集中确定的与目标用户匹配的候选属性信息或从候选物品信息集中确定的候选物品信息。
-
公开(公告)号：CN118840457A
公开(公告)日：2024-10-25
申请号：CN202410940132.6
申请日：2024-07-12
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40
Abstract: 本说明书实施例涉及数字人动作重定向方法及装置，用于将第一骨骼的动作迁移至第二骨骼，第一骨骼包含从第一起始关节开始、由第一数目个依次连接的关节组成的第一骨链；第二骨骼包含从第二起始关节开始、由第二数目个依次连接的关节组成的第二骨链；第一骨链和第二骨链之间具有预先确定的对应关系；方法包括：首先，对于第二骨链上任意的第二目标关节，确定其与第二起始关节之间的关节数量与第二数目的第二比例。然后，在第一骨链上确定第一目标关节，使得第一目标关节与第一起始关节之间的关节数量与第一数目的比例为第二比例。最后，根据第一起始关节与第一目标关节之间的各个关节的旋转变换参数，确定第二目标关节的旋转变换参数。
-
Patent Agency Ranking
公开(公告)号：CN118227082A
公开(公告)日：2024-06-21
申请号：CN202410424761.3
申请日：2024-04-09
Applicant: 支付宝(杭州)信息技术有限公司
Abstract: 本公开提供一种数字人的控制方法、文本大模型的训练方法、系统，包括：获得提示，提示包括待执行任务、动作候选集、待处理文本，待执行任务用于指示在待处理文本中插入与待处理文本对应的动作标签，动作候选集中包括动作标签列表，将提示输入至预设大模型，得到预测文本，预测文本包括待处理文本、以及插入至待处理文本中的目标动作标签，目标动作标签对应目标动作，根据预测文本控制数字人输出交互视频，交互视频包括数字人播报待处理文本、以及数字人执行的目标动作，以提高对数字人控制的准确性和可靠性。
-
公开(公告)号：CN117077723A
公开(公告)日：2023-11-17
申请号：CN202311029446.2
申请日：2023-08-15
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06N3/008 , G06N3/0464
Abstract: 本说明书实施例涉及一种数字人动作生产方法及装置，所述方法首先获取包含人体的目标图像，然后使用目标神经网络处理目标图像，目标神经网络包括特征提取层，注意力层和预测层，其中，特征提取层用于提取反映各个图像元素与各个关节关系的关节特征，以及各个图像元素的姿态特征；注意力层用于基于所述关节特征对姿态特征进行注意力处理，得到目标特征，预测层用于基于所述目标特征，预测各个关节的旋转角；然后，至少根据所述旋转角，生成标准的参数化人体模型的目标驱动文件；然后，从若干数字人模型中获取第一数字人模型，根据目标驱动文件，将参数化人体模型动作重定向到第一数字人模型上，生成并存储第一数字人模型的第一驱动文件。
-
公开(公告)号：CN116958348A
公开(公告)日：2023-10-27
申请号：CN202310745636.8
申请日：2023-06-21
Applicant: 支付宝(杭州)信息技术有限公司 , 浙江大学
IPC: G06T13/40 , G06T7/70 , G06N3/0455 , G06N3/047 , G06N3/0475
Abstract: 本说明书实施例涉及一种数字人和物体的交互动作生成方法及装置，所述方法包括：获取目标条件数据，其中包括数字人初始状态的位姿信息、目标物体数据，以及数字人和目标物体进行交互的目标状态的位姿信息；利用第一扩散模型确定N个里程碑数据，所述里程碑为所述数字人从初始位置移动到目标位置的轨迹上的点；利用第二扩散模型确定数字人在任一里程碑上的姿态；利用第三扩散模型确定数字人在相邻里程碑之间的轨迹上的若干个轨迹点数据；利用第四扩散模型确定数字人在任一轨迹点上的姿态。然后根据多个轨迹点数据和数字人在任一轨迹点上的姿态，确定出数字人从初始位置移动到目标位置的动作序列。
-
公开(公告)号：CN116993873B
公开(公告)日：2024-05-17
申请号：CN202310957070.5
申请日：2023-07-31
Applicant: 支付宝(杭州)信息技术有限公司
IPC: G06T13/40 , G06F16/33 , G06F40/211 , G06F40/284 , G06F40/289 , G06F40/30
Abstract: 本说明书实施例涉及一种数字人动作编排方法及装置，所述方法的输入包括目标文本对应的第一词语序列和第一动作集合，第一动作集合中包含若干动作，任一动作具有预设的触发词以及对应的动作持续时长；然后，根据动作对应的触发词，将所述第一词语序列中的各个词语与所述第一动作集合的动作进行匹配，得到第一匹配结果，第一匹配结果中包含各个词语对应的备选动作集合；然后，根据各个词语在所述目标文本中的位置，以及动作的动作持续时长，从所述第一匹配结果中确定一组在时间维度上没有重叠的动作序列，得到第一动作序列，所述第一动作序列用于指示所述数字人在播报所述目标文本时做出相应的动作。
-
公开(公告)号：CN117171307A
公开(公告)日：2023-12-05
申请号：CN202310897709.5
申请日：2023-07-20
Applicant: 支付宝(杭州)信息技术有限公司 , 华中科技大学
IPC: G06F16/332 , G06F16/33 , G06F40/35 , G06N20/00 , G06N3/04
Abstract: 本说明书实施例提供基于多视图超图的用户偏好学习方法、对话推荐方法及系统。在进行用户偏好学习时，使用用户交互信息、物品信息和用户社交信息，构建多视图超图，所构建的多视图超图包括喜欢视图、不喜欢视图和朋友视图；以及基于多视图超图执行针对用户节点的图学习，以学习出用户偏好表示。
-
-
-
-
-
-
-
-
Search Results
9
records
(took 0.031 seconds)
