一种基于语音情感识别的虚拟学习环境自然交互方法

    公开(公告)号:CN109146066A

    公开(公告)日:2019-01-04

    申请号:CN201811296271.0

    申请日:2018-11-01

    Abstract: 本发明涉及一种基于语音情感识别的虚拟学习环境自然交互方法,属于深度学习领域,包括步骤S1:通过kinect采集学生用户的语音信号,进行重采样,分帧加窗,静音处理,得到短时单帧信号;S2:对信号进行快速傅里叶变换得到频域数据,求其功率谱,采用梅尔滤波器组得到梅尔频谱图;S3:将梅尔频谱图特征输入卷积神经网络,进行卷积操作与池化操作,并将最后一层降采样后的各矩阵向量,输入到全连接层,构成一个向量输出特征;S4:将输出特征压缩输入到双向长短时记忆神经网络中;S5:将输出特征输入到支持向量机中分类输出分类结果;S6:将分类结果反馈到虚拟学习系统中进行虚拟学习环境交互。本发明驱动学习者调整学习状态,增强虚拟学习环境的实用性。

    一种基于深度信息和多维度卷积神经网络的人体动作识别方法

    公开(公告)号:CN107066979A

    公开(公告)日:2017-08-18

    申请号:CN201710254552.9

    申请日:2017-04-18

    CPC classification number: G06K9/00335 G06N3/08

    Abstract: 本发明请求保护一种基于深度信息和多维度卷积神经网络的人体动作识别方法,主要包括以下三个部分:在获取运动数据方面,通过体感设备Kinect获取人体运动的深度序列,得到人体运动的深度信息;在提取运动特征方面,利用深度运动图提取特征,获得深度序列的正面投影图、侧面投影图和俯视投影图;在人体动作识别方面,结合二维卷积神经网络和三维卷积神经网络的缺陷,提出了多维度卷积神经网络,实现人体动作识别。本发明不仅具有自学习特征,还可以从一个深度视频序列的数据集转移到不同的数据集,有较强的适应性,适用于人体动作的识别领域。

    一种基于智能问答的虚拟学习环境构建方法

    公开(公告)号:CN108804654A

    公开(公告)日:2018-11-13

    申请号:CN201810581196.6

    申请日:2018-06-07

    Abstract: 本发明涉及一种基于智能问答的虚拟学习环境构建方法,属于人机交互技术领域,包括1.采集并构建特定领域教学问答数据集,对采集的问答对进行预处理;2.构建BI‑LSTM‑CRF模型对问答对进行语义分析和特征提取,实现语句的分词与序列标注;3.构建基于LSTM网络的答案置信度计算模型,输入问答对特征向量,通过模型衡量问答对的匹配程度,将得分最高的答案特征向量转换输出;4.利用基于Unity3D的虚拟现实技术搭建虚拟学习环境,构建智能问答引擎,引入训练好的深度学习问答模型,实现基于智能问答的虚拟学习环境构建。本发明利用深度学习实现了特定领域语义理解层面的智能问答,并将其应用于面向教学的虚拟学习环境之中,为虚拟课堂与人机交互研究拓展了思路和方法。

    一种基于多通道并行卷积神经网络的实时表情识别方法

    公开(公告)号:CN107491726A

    公开(公告)日:2017-12-19

    申请号:CN201710537921.5

    申请日:2017-07-04

    Abstract: 本发明请求保护一种基于多通道并行卷积神经网络的实时表情识别方法,包括以下步骤:从面部表情数据集中提取包含RGB与Depth图像的表情数据;对彩色图像进行局部二值化及提取面部关键点预处理,对深度图像进行梯度化预处理,将预处理后的图像分为训练集与测试集两部分并构建多通道并行卷积神经网络;将训练集中预处理后的图像送入网络中训练,获得学习了面部表情轮廓、立体分布及关键点特征的深度通道、lbp通道及关键点通道识别模型;将三种识别模型的分类结果采用最大置信融合,得到最终表情识别模型并构建实时表情识别系统。本发明增强了识别网络的鲁棒性,有效提升了实时表情识别系统的性能。

    一种基于多通道并行卷积神经网络的实时表情识别方法

    公开(公告)号:CN107491726B

    公开(公告)日:2020-08-04

    申请号:CN201710537921.5

    申请日:2017-07-04

    Abstract: 本发明请求保护一种基于多通道并行卷积神经网络的实时表情识别方法,包括以下步骤:从面部表情数据集中提取包含RGB与Depth图像的表情数据;对彩色图像进行局部二值化及提取面部关键点预处理,对深度图像进行梯度化预处理,将预处理后的图像分为训练集与测试集两部分并构建多通道并行卷积神经网络;将训练集中预处理后的图像送入网络中训练,获得学习了面部表情轮廓、立体分布及关键点特征的深度通道、lbp通道及关键点通道识别模型;将三种识别模型的分类结果采用最大置信融合,得到最终表情识别模型并构建实时表情识别系统。本发明增强了识别网络的鲁棒性,有效提升了实时表情识别系统的性能。

Patent Agency Ranking