-
公开(公告)号：CN113658582B
公开(公告)日：2024-05-07
申请号：CN202110800963.X
申请日：2021-07-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种音视协同的唇语识别方法和系统，基于视觉‑视觉、音频‑音频、视觉‑音频等三个层面的度量学习，三个度量学习机制的同时进行不仅缩短了训练时间和阶段，还能更好地进行视觉和音频两种模态间的协同学习。通过音频信息的帮助，本发明的视觉模型可以提取更有区分度的特征，从而提升唇语识别模型的性能。
-
公开(公告)号：CN116649896A
公开(公告)日：2023-08-29
申请号：CN202310483423.2
申请日：2023-04-28
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种音视结合的发音质量评估方法，包括：采集标准发音状态下某一音位的标准音视频，获取该音位的标准视位和标准舌位；采集用户实际发音状态的该音位的实际音视频，获取该用户发出该音位的实际视位和实际舌位；分别将该实际视位与标准视位、该实际舌位与该标准舌位进行比对，得到该用户对该音位的发音偏差；基于该发音偏差生成矫正建议，并反馈给该用户进行发音矫正。本发明还提出一种音视结合的发音质量评估系统，以及一种用于用户发音质量评估的数据处理装置。
-
公开(公告)号：CN113658582A
公开(公告)日：2021-11-16
申请号：CN202110800963.X
申请日：2021-07-15
Applicant: 中国科学院计算技术研究所
Abstract: 本发明提出一种音视协同的唇语识别方法和系统，基于视觉‑视觉、音频‑音频、视觉‑音频等三个层面的度量学习，三个度量学习机制的同时进行不仅缩短了训练时间和阶段，还能更好地进行视觉和音频两种模态间的协同学习。通过音频信息的帮助，本发明的视觉模型可以提取更有区分度的特征，从而提升唇语识别模型的性能。
-
-
Search Results
3
records
(took 0.026 seconds)
