公开(公告)号：CN112507311A

公开(公告)日：2021-03-16

申请号：CN202011438711.9

申请日：2020-12-10

Applicant: 东南大学

Inventor： 董睿 ,  蔡林希 ,  涂煜洋 ,  陈嘉博 ,  安典坤 ,  张柏礼

IPC: G06F21/32 ,  G06K9/00 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种基于多模态特征融合的高安全性身份验证方法，包括以下步骤：(1)采集使用者读取验证码时的音视频资料；(2)对收集到的音视频资料进行人脸识别验证；(3)对收集到的音视频资料进行图像识别判断，用户的唇部动作与读实时数字的唇部动作是否相仿，如果相仿，则通过比照；(4)对收集到的音视频资料进行进行语音验证，验证说话人声纹是否与注册时说话人声纹相仿，并且根据声音再判断用户读的数字是不是屏幕上随机出现的验证码。本发明有效提高身份验证的可靠性。

公开(公告)号：CN112749629A

公开(公告)日：2021-05-04

申请号：CN202011452937.4

申请日：2020-12-11

Applicant: 东南大学

Inventor： 涂煜洋 ,  董睿 ,  蔡林希 ,  安典坤 ,  陈嘉博 ,  张柏礼

IPC: G06K9/00 ,  G06F21/32 ,  G06N3/04 ,  G06N3/08

Abstract: 本发明公开了一种身份验证系统汉语唇语识别的工程优化方法，包括以下步骤：首先，在屏幕上显示便于唇语识别的口令，令被验证者朗读之，获取被验证者的唇动视频；然后，提取唇动视频中的音频的MFCC特征向量，根据向量中的信息区分出元音和辅音，根据汉语一字一音的特征，将视频分成一字一段，并对唇动视频中人脸区域进行检测和唇部区域进行定位与提取；最后，用RSNet分类网络对其进行分类，将分类的结果与口令及相比对，输出验证是否成功的信息。本发明大大提高了唇语识别的便利性与准确度。