基于生物信号和时空信号的深度伪造视频检测方法

    公开(公告)号:CN116630858A

    公开(公告)日:2023-08-22

    申请号:CN202310626199.8

    申请日:2023-05-30

    Abstract: 本发明公开一种基于生物信号和时空信号的深度伪造视频检测方法,属于人工智能安全领域。首先对视频进行人脸识别,将视频裁剪对齐生成人脸视频,从视频中提取视频帧和绿色通道的rPPG信号,将这两种数据分别输入到三维残差网络和二维卷积神经网络中训练基学习器,最后基于stacking策略构建多模态融合鉴伪的集成模型,输出鉴伪结果。本发明利用三维残差网络中的三维卷积核学习视频时序信息,用池化层学习空间信息,并提取视频中难以被伪造的生物信号,辅助鉴伪,增加视频鉴伪的准确率。充分的实验表明,所建立的融合模型能够较好地应对视频低分辨率情况,在各种伪造算法上的鉴伪效果好,具有良好的泛化性能。

Patent Agency Ranking