公开(公告)号：CN116602627A

公开(公告)日：2023-08-18

申请号：CN202310590799.3

申请日：2023-05-24

Applicant: 天津大学

Inventor： 郭向阳 ,  魏建国 ,  何宇清 ,  王芳 ,  金成曦 ,  孔信柯 ,  张钲基

IPC: A61B5/00 ,  A61B8/08 ,  A61B8/00

Abstract: 本发明公开了多模态语音评估系统。包括采集数据的设备方法，言语诊断算法的构建，诊断交互系统的界面及使用。采集数据使用相机，超声探头，麦克风并设计承载相机的机构，并使用串口的方法适时提取数据后进行对齐。数据进入后由KALDI的GOP特征提取方法，Block WHT‑PCA方法等提取数据的特征并加和成为用户的输入数据向量。数据经过评级模型后在页面上展示评级结果，供患者清晰直观且定量的了解自身的音语情况，同时用户的诊断报告将会记录在系统中，以便下次评估时与前次对比。本专利配套提取数据的硬件机构，以及三模态处理数据的软件系统的内部算法以及UI界面，从而准确全面的评估用户的言语情况。