-
公开(公告)号：CN118488266B
公开(公告)日：2024-09-17
申请号：CN202410941000.5
申请日：2024-07-15
Applicant: 湘江实验室
IPC: H04N21/44 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80 , G06V10/82 , G06V40/16 , G06F18/25 , H04N21/439 , G10L21/10
Abstract: 本发明提供了一种基于RDDM的高质量说话人脸视频生成方法及系统，包括以下步骤：获取人脸参考图像、风格参考视频和音频片段；本发明通过获取人脸参考图像以及对应的风格参考视频和音频片段，对风格参考视频以及音频片段分别进行相应处理，得到对应的风格特征以及语音特征；然后将风格特征和语音特征输入到基于RDDM的解码器中，进行正向扩散和反向扩散得到预测的3D面部运动，使重建出的3D面部运动数据清晰无残差，准确的呈现出所需的面部表情细节和运动轨迹，最后，再通过图像渲染器将3D面部运动和参考图像作为输入来生成说话的面部，提高了说话人脸视频的生成质量和视觉效果。
-
公开(公告)号：CN118488266A
公开(公告)日：2024-08-13
申请号：CN202410941000.5
申请日：2024-07-15
Applicant: 湘江实验室
IPC: H04N21/44 , G06N3/0455 , G06N3/0464 , G06N3/0499 , G06N3/08 , G06V10/80 , G06V10/82 , G06V40/16 , G06F18/25 , H04N21/439 , G10L21/10
Abstract: 本发明提供了一种基于RDDM的高质量说话人脸视频生成方法及系统，包括以下步骤：获取人脸参考图像、风格参考视频和音频片段；本发明通过获取人脸参考图像以及对应的风格参考视频和音频片段，对风格参考视频以及音频片段分别进行相应处理，得到对应的风格特征以及语音特征；然后将风格特征和语音特征输入到基于RDDM的解码器中，进行正向扩散和反向扩散得到预测的3D面部运动，使重建出的3D面部运动数据清晰无残差，准确的呈现出所需的面部表情细节和运动轨迹，最后，再通过图像渲染器将3D面部运动和参考图像作为输入来生成说话的面部，提高了说话人脸视频的生成质量和视觉效果。
-
公开(公告)号：CN118097989B
公开(公告)日：2024-08-27
申请号：CN202410516556.X
申请日：2024-04-28
Applicant: 湘江实验室
Abstract: 本发明提供一种基于数字孪生的多智能体交通区域信控方法，包括由感知检测模块收集交通数据；由数据语义提取模块将收集得到的数据进行语义挖掘；由数字孪生模块为路网搭建数字孪生体；由孪生决策模块利用提取的交通数据在数字孪生虚拟空间内进行策略迭代训练来近似最优策略，同时将最优策略运用到实际交通信号灯控制中，并得到新的环境状态用于更新交通数字孪生平台进行新的模型训练，形成交互式训练闭环。本发明提供的所述基于数字孪生的多智能体交通区域信控方法，通过现实交通环境与数字孪生路网的交互式模型训练，实现一种更安全，更智能化的大规模多路网交通信号灯的动态调控方法。
-
公开(公告)号：CN118097989A
公开(公告)日：2024-05-28
申请号：CN202410516556.X
申请日：2024-04-28
Applicant: 湘江实验室
Abstract: 本发明提供一种基于数字孪生的多智能体交通区域信控方法，包括由感知检测模块收集交通数据；由数据语义提取模块将收集得到的数据进行语义挖掘；由数字孪生模块为路网搭建数字孪生体；由孪生决策模块利用提取的交通数据在数字孪生虚拟空间内进行策略迭代训练来近似最优策略，同时将最优策略运用到实际交通信号灯控制中，并得到新的环境状态用于更新交通数字孪生平台进行新的模型训练，形成交互式训练闭环。本发明提供的所述基于数字孪生的多智能体交通区域信控方法，通过现实交通环境与数字孪生路网的交互式模型训练，实现一种更安全，更智能化的大规模多路网交通信号灯的动态调控方法。
-
-
-
Search Results
4
records
(took 0.012 seconds)
