公开(公告)号：CN114693607A

公开(公告)日：2022-07-01

申请号：CN202210229466.3

申请日：2022-03-09

Applicant: 华南理工大学

Inventor： 姚其森 ,  胡永健 ,  刘琲贝 ,  余翔宇

IPC: G06T7/00 ,  G06T7/30 ,  G06T5/10 ,  G06K9/62 ,  G06N3/04 ,  G06N3/08 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多域块特征标志点配准的篡改视频检测方法及系统，该方法的步骤包括：提取各帧图像待检测区域；构建特征提取模块；计算待检测区域的RGB图像空域特征和DCT频谱；提取多尺度空域和频域特征进行特征拼接获得融合特征；融合特征输入注意力模块生成注意力引导特征；根据人脸标志点从注意力引导特征提取局部块特征和关键块特征；计算块特征间的相似度并拼接成相似度矩阵，输出二分类预测结果；采用二分类标签、帧图像局部篡改概率和帧图像边缘梯度对网络训练进行监督；利用训练好的模型进行预测分类，输出视频篡改检测结果。本发明利用人脸标志点对关键块特征的位置进行配准，提高了模型的泛化能力，优化模型对多个领域分类特征的学习。

公开(公告)号：CN114693607B

公开(公告)日：2024-08-20

申请号：CN202210229466.3

申请日：2022-03-09

Applicant: 华南理工大学

Inventor： 姚其森 ,  胡永健 ,  刘琲贝 ,  余翔宇

IPC: G06T7/00 ,  G06T7/30 ,  G06T5/10 ,  G06N3/0464 ,  G06N3/048 ,  G06N3/084 ,  G06V10/74 ,  G06V10/764 ,  G06V10/80 ,  G06V10/82

Abstract: 本发明公开了一种基于多域块特征标志点配准的篡改视频检测方法及系统，该方法的步骤包括：提取各帧图像待检测区域；构建特征提取模块；计算待检测区域的RGB图像空域特征和DCT频谱；提取多尺度空域和频域特征进行特征拼接获得融合特征；融合特征输入注意力模块生成注意力引导特征；根据人脸标志点从注意力引导特征提取局部块特征和关键块特征；计算块特征间的相似度并拼接成相似度矩阵，输出二分类预测结果；采用二分类标签、帧图像局部篡改概率和帧图像边缘梯度对网络训练进行监督；利用训练好的模型进行预测分类，输出视频篡改检测结果。本发明利用人脸标志点对关键块特征的位置进行配准，提高了模型的泛化能力，优化模型对多个领域分类特征的学习。

公开(公告)号：CN115331135A

公开(公告)日：2022-11-11

申请号：CN202210787371.3

申请日：2022-07-06

Applicant: 华南理工大学

Inventor： 姚其森 ,  胡永健 ,  李纪成 ,  佘惠敏 ,  王宇飞 ,  刘琲贝

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06T5/50 ,  G06V10/42 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V40/16

Abstract: 本发明公开了一种基于多域特征区域标准分数差异的Deepfake视频检测方法，包括下述步骤：数据集划分；视频分帧并提取待检测区域；构建双支路卷积神经网络；计算待检测区域的RGB特征和NSCT子带图像；NSCT子带图像按频带融合得到频域特征；通过纹理特征提取模块获得不同层级纹理特征的响应；将空域、频域特征支路的输出特征沿通道维度拼接，输入异常特征判别模块获得篡改区域预测掩膜；篡改区域预测掩膜经全连接层得到一维特征，与纹理特征提取模块输出特征拼接，经过全连接层和Softmax激活函数输出二分类预测结果。本发明能较好地结合空域和频域的特征信息，实现加强对纹理特征的响应，判别异常篡改痕迹，提高了模型的泛化能力。