公开(公告)号：CN119761482A

公开(公告)日：2025-04-04

申请号：CN202411935809.3

申请日：2024-12-26

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  林家骏 ,  龚迪浩 ,  朱东泽 ,  熊余

IPC: G06N5/022 ,  G06N5/04 ,  G06Q50/20 ,  G06F16/353 ,  G06T13/40 ,  G06N3/045 ,  G06N3/047 ,  G06T13/20 ,  G10L13/027 ,  G10L15/26

Abstract: 本发明涉及一种教育大模型融合知识图谱驱动的虚拟教师交互方法及系统，属于人工智能、智慧教育领域。本发明通过数据集、问答模型的构建；功能交互的应用；虚拟教师及场景的驱动，实现了虚拟学习环境的自然交互。其中，问答模型不仅需要数据集为其提供语料数据支持，而且需将语音转化为文本并由学科知识框架进行意图分类及会话管理，再通过教育大模型、学科知识图谱等获得最优反馈，最终以语音形式输出；功能交互包括：通信连接、GUI控制中台及结果交互。负责接收问答模型的反馈信息，以驱动虚拟教师生成类人的姿态动作及教学场景的变换。本发明能够为用户提供沉浸式、个性化的教学体验和便捷的在线答疑服务，以此满足用户多样化的学习需求。

公开(公告)号：CN117557697A

公开(公告)日：2024-02-13

申请号：CN202311554757.0

申请日：2023-11-21

Applicant: 重庆邮电大学

Inventor： 蔡林沁 ,  向足 ,  曹福祥 ,  林家骏 ,  熊余

IPC: G06T13/40 ,  G06T13/20 ,  G06V20/40 ,  G06V40/16 ,  G06V10/74 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/094

Abstract: 本发明涉及一种基于情感调控对抗网络的虚拟教师人脸视频生成方法，属于人工智能领域。该方法包括：获取人物视频数据集并对该数据集预处理，分为训练数据集、验证数据集和测试数据集；采用音频编码器和噪声编码器从视频数据集中提取音频特征；采用面部编码器根据人脸图像提取面部特征；将音频特征和面部特征输入视频解码器，并以情感标签为调控条件，通过跳转连接生成音频与口型同步且表达指定情感的虚拟教师人脸视频；在视频解码器的输出部分加入校准网络，增强虚拟教师人脸的面部细节；视频解码器的输出通过鉴别器调整，得到虚拟教师人脸视频。本发明可提高生成视频的视听一致性，优化生成面部特征细节，且允许独立控制生成的视觉信号的情感。