一种多模态多层融合的用于人脸反欺骗的深度神经网络

    公开(公告)号:CN110674677A

    公开(公告)日:2020-01-10

    申请号:CN201910722261.7

    申请日:2019-08-06

    Applicant: 厦门大学

    Abstract: 一种多模态多层融合的用于人脸反欺骗的深度神经网络,涉及图像异常样本检测。包括图像特征提取前端和一个神经网络分类器;网络包含参差神经网络层、多模态权重自适应模块以及全连接层分类单元;神经网络前端包括多个不同模态数据处理分支,用于分别处理多种不同模态的图像数据,每一个分支由多个残差神经网络层连接组成;每个分支的各层残差神经网络层输出的图像特征通过多模态权重自适应模块进行特征融合;多模态权重自适应模块包含上分支和下分支,上分支用于通过一个图像卷积操作对多种模态信息的特征进行融合,得到一个融合特征;下分支包含图像卷积操作单元、全局池化层、softmax单元、ReLU激活单元和全连接层。

Patent Agency Ranking