公开(公告)号：CN116844231A

公开(公告)日：2023-10-03

申请号：CN202310803770.9

申请日：2023-06-30

Applicant: 中国科学院计算技术研究所

Inventor： 邢云冰 ,  黄涵强 ,  陈益强 ,  李嘉豪

IPC: G06V40/20 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/044 ,  G06N3/088

Abstract: 本发明提出一种基于运动重定向的手语动作迁移方法、装置，方法包括：构建编码器模型，配置为运动编码器、静态编码器和潜层编码器；运动编码器输入为骨架原始手语动画数据，输出为编码后的骨架动作信息；静态编码器输入为骨架空间静态数据，输出为编码后的骨架结构信息；潜层编码器将骨架动作信息与骨架结构信息解耦，提取手语抽象动作；构建解码器模型配置为将手语抽象动作和骨架结构信息重定向，生成骨架重构手语动画数据；构建鉴别器模型置为输入为骨架原始手语动画数据、骨架重构手语动画数据、骨架空间静态数据，输出鉴别结果；以及构建目标损失函数。其使用循环生成对抗网络进行无监督训练，解决了成对训练数据获取困难的问题。

公开(公告)号：CN116485961A

公开(公告)日：2023-07-25

申请号：CN202310465584.9

申请日：2023-04-27

Applicant: 中国科学院计算技术研究所

Inventor： 邢云冰 ,  黄涵强 ,  陈益强

IPC: G06T13/40 ,  G06T5/00 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/08

Abstract: 本申请提供了一种手语动画生成方法、设备和介质。其中，所述方法包括：从预置的手语词库中获取目标手语词的动作姿态序列，所述目标手语词是待生成手语所需的手语词，所述动作姿态序列的每一帧至少指示虚拟人体模型的上肢姿态；按照预定的拼接方式将所有目标手语词所对应的动作姿态序列按照所述待生成手语的语义的顺序进行拼接，得到目标动作姿态序列，其中，所述预定的拼接方式中利用经训练的神经网络对待拼接的两个目标手语词对应的动作姿态序列的连接进行平滑过渡处理；根据所述目标动作姿态序列，驱动所述虚拟人体模型的姿态进行变换，生成目标手语动画。生成的手语动画中手语词动画之间过渡更加连贯自然，提高了手语动画的生成效率。