公开(公告)号：CN119027996A

公开(公告)日：2024-11-26

申请号：CN202410970065.2

申请日：2024-07-19

Applicant: 华南理工大学

Inventor： 龚照隆 ,  李纪成 ,  胡永健 ,  佘惠敏 ,  刘琲贝

IPC: G06V40/16 ,  G06V10/774

Abstract: 本发明公开了一种基于文本引导的细粒度活体人脸属性编辑方法及系统，该方法包括下述步骤：获取人脸图像数据集和文本数据集，并进行数据预处理；基于人脸身份特征提取模块、面部关键点特征提取模块分别提取人脸图像的多尺度人脸身份特征和多尺度面部关键点特征；基于多尺度特征混合模块将多尺度人脸身份特征和多尺度面部关键点特征进行特征拼接，并加权平均得到人脸身份结构特征；分别将人脸图像和原始文本嵌入分别作为图像模态和文本模态注入到条件扩散模型中；进行两阶段的训练；基于原始文本和引导文本获得最终的文本条件向量，输入训练后的条件扩散模型，生成细粒度的人脸属性编辑图片。本发明实现人脸属性编辑的精细化和多样化。

公开(公告)号：CN117935380A

公开(公告)日：2024-04-26

申请号：CN202410116281.0

申请日：2024-01-29

Applicant: 华南理工大学

Inventor： 郭阳 ,  胡永健 ,  刘琲贝 ,  李纪成

IPC: G06V40/40 ,  G06V40/16 ,  G06V20/40 ,  G06V10/25 ,  G06V10/44 ,  G06V10/82 ,  G06V10/764 ,  G06N3/0464 ,  G06N3/084 ,  G06V10/774

Abstract: 本发明公开了一种针对化妆人脸的欺诈检测方法及系统，该方法包括下述步骤：将各数据集的视频解码为帧序列；裁剪人脸区域并检测人脸标记点；选取部分素颜真实人脸图像生成化妆增广图像集；以批通道归一化模块改进后的ResNet18网络提取不同数据库的特征；获取不同数据库的最佳真假分类超平面并收敛为全局的真假分类超平面，计算全局交叉熵损失并输出二分类真假预测标签；计算出缓存区中与新样本最相似的K个样本，计算选出的锚点与新样本间的近邻监督对比损失；构建虚拟三元组并计算虚拟三元损失；构建总损失函数并训练得到预测模型；基于预测模型获取二分类预测概率。本发明有效提高了对于化妆人脸的泛化性及检测性能。

公开(公告)号：CN118570881A

公开(公告)日：2024-08-30

申请号：CN202410347393.7

申请日：2024-03-26

Applicant: 华南理工大学

Inventor： 詹舒彤 ,  胡永健 ,  李纪成 ,  刘琲贝

IPC: G06V40/40 ,  G06V40/16 ,  G06V10/52 ,  G06V10/774 ,  G06V10/77 ,  G06V10/80 ,  G06V10/82 ,  G06V10/764 ,  G06N3/045 ,  G06N3/09

Abstract: 本发明公开了一种基于特征通道表征的活体检测方法及系统，该方法包括下述步骤：对视频数据集预处理，提取人脸图像并设置真伪标签和域标签；基于多尺度特征提取模块提取人脸图像的多尺度特征；基于自适应特征增广模块扩充多尺度特征的表征空间得到增广后的特征；基于通道级白化模块提升通道特征的判别表示能力；基于通道级剔除模块抑制对域偏移敏感的通道，以提取域不变信息；基于注意力特征融合模块融合通道级白化模块和通道级剔除模块输出的特征以得到最终的判别特征；根据最终的判别特征预测二分类结果；训练并更新网络的权重，基于训练后的网络模型得到活体检测预测结果。本发明能提高通道特征的判别表示能力及活体检测模型的域泛化性能。

公开(公告)号：CN115331135A

公开(公告)日：2022-11-11

申请号：CN202210787371.3

申请日：2022-07-06

Applicant: 华南理工大学

Inventor： 姚其森 ,  胡永健 ,  李纪成 ,  佘惠敏 ,  王宇飞 ,  刘琲贝

IPC: G06V20/40 ,  G06N3/04 ,  G06N3/08 ,  G06T5/50 ,  G06V10/42 ,  G06V10/74 ,  G06V10/764 ,  G06V10/774 ,  G06V10/82 ,  G06V40/16

Abstract: 本发明公开了一种基于多域特征区域标准分数差异的Deepfake视频检测方法，包括下述步骤：数据集划分；视频分帧并提取待检测区域；构建双支路卷积神经网络；计算待检测区域的RGB特征和NSCT子带图像；NSCT子带图像按频带融合得到频域特征；通过纹理特征提取模块获得不同层级纹理特征的响应；将空域、频域特征支路的输出特征沿通道维度拼接，输入异常特征判别模块获得篡改区域预测掩膜；篡改区域预测掩膜经全连接层得到一维特征，与纹理特征提取模块输出特征拼接，经过全连接层和Softmax激活函数输出二分类预测结果。本发明能较好地结合空域和频域的特征信息，实现加强对纹理特征的响应，判别异常篡改痕迹，提高了模型的泛化能力。

公开(公告)号：CN111914633A

公开(公告)日：2020-11-10

申请号：CN202010574901.7

申请日：2020-06-22

Applicant: 华南理工大学 ,  中新国际联合研究院

Inventor： 胡永健 ,  熊艺纯 ,  王宇飞 ,  李猛 ,  李纪成 ,  刘琲贝

IPC: G06K9/00 ,  G06K9/46 ,  G06K9/62

Abstract: 本发明公开了一种基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用，该方法步骤包括：将待检测视频解码为帧序列并逐帧保存；检测各帧的人脸区域并提取人脸特征点的坐标值；根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；计算相邻帧上对应面部向量在空间位置上的偏转角；将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；将训练样本的特征向量输入支持向量机训练生成分类模型；训练后的分类模型对待检测视频帧进行分类，判断视频是否存在篡改。本发明利用人脸生物信号的固有特征进行检测，具有较好的检测效果，利用面部向量的时域特征来捕捉篡改视频的痕迹，具有良好的通用性。

公开(公告)号：CN117975576A

公开(公告)日：2024-05-03

申请号：CN202410119338.2

申请日：2024-01-29

Applicant: 华南理工大学

Inventor： 林泽锋 ,  胡永健 ,  刘琲贝 ,  李纪成

IPC: G06V40/40 ,  G06V40/16 ,  G06V20/40 ,  G06V10/25 ,  G06V10/44 ,  G06V10/74 ,  G06V10/762 ,  G06V10/764 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084

Abstract: 本发明公开了一种基于原型学习和余弦相似度的特征聚类人脸欺诈检测方法及系统，该方法包括下述步骤：视频预处理，基于潜在分布骨干网络提取潜在分布特征，对潜在分布特征和原型中心进行归一化并计算两者的余弦相似度；对同一个类别的所有原型中心余弦相似度加权求和得到对应类别的分类预测角度余弦；计算带有边缘惩罚系数的加性角度损失函数；基于类间损失函数和类内损失函数计算各个原型中心的距离；基于构建的总损失函数训练得到预测模型；根据各个原型中心周围样本密度对原型中心个数进行调整，优化预测模型；基于优化后的预测模型输出测试人脸欺诈检测结果。本发明保证了模型对人脸欺诈视频特征的提取能力和鉴别能力，提高了模型的泛化能力。

公开(公告)号：CN117854162A

公开(公告)日：2024-04-09

申请号：CN202410087187.7

申请日：2024-01-22

Applicant: 华南理工大学

Inventor： 苏佳棋 ,  余翔宇 ,  胡永健 ,  刘琲贝 ,  李纪成

IPC: G06V40/40 ,  G06V40/16 ,  G06V10/44 ,  G06V10/52 ,  G06V10/80 ,  G06V10/82 ,  G06N3/0464 ,  G06N3/084 ,  G06N3/048

Abstract: 本发明公开了一种增加风格多样性的人脸活体检测方法及系统，包括下述步骤：提取人脸图像并设置真伪标签和域标签；提取人脸图像的内容特征和风格特征；将内容特征输入带有梯度反转层的域判别器，计算域判别器损失；进行类引导的风格特征混合操作得到混合风格特征；构建自组装特征和重组特征；通过基于代理的对比学习损失对自组装特征和重组特征进行约束；通过分类器计算得到人脸图像为真的概率值，基于真伪标签对分类器的输出进行监督，得到分类损失；构建总损失函数；基于总损失函数训练得到预测模型，得到人脸图像为真的预测概率。本发明增加了风格多样性，可以接触到大量未知域的风格，提高了表征能力，具有较好的泛化性能及鲁棒性。

公开(公告)号：CN111914633B

公开(公告)日：2023-06-30

申请号：CN202010574901.7

申请日：2020-06-22

Applicant: 华南理工大学 ,  中新国际联合研究院

Inventor： 胡永健 ,  熊艺纯 ,  王宇飞 ,  李猛 ,  李纪成 ,  刘琲贝

IPC: G06V40/16 ,  G06V10/764 ,  G06V10/774 ,  G06V10/44

Abstract: 本发明公开了一种基于人脸特征时域稳定性的换脸视频篡改检测方法及其应用，该方法步骤包括：将待检测视频解码为帧序列并逐帧保存；检测各帧的人脸区域并提取人脸特征点的坐标值；根据特征点的位置和活跃度选择特定特征点，计算特定成对特征点的连线向量作为面部向量；计算相邻帧上对应面部向量在空间位置上的偏转角；将相邻两帧所有面部向量的偏转角度值作为特征值，并构造特征向量；将训练样本的特征向量输入支持向量机训练生成分类模型；训练后的分类模型对待检测视频帧进行分类，判断视频是否存在篡改。本发明利用人脸生物信号的固有特征进行检测，具有较好的检测效果，利用面部向量的时域特征来捕捉篡改视频的痕迹，具有良好的通用性。

公开(公告)号：CN110826440B

公开(公告)日：2022-05-24

申请号：CN201911029468.2

申请日：2019-10-28

Applicant: 华南理工大学

Inventor： 胡永健 ,  李猛 ,  刘琲贝 ,  佘惠敏 ,  李纪成 ,  王宇飞

IPC: G06V40/18 ,  G06V40/40 ,  G06T7/62 ,  G06T7/73

Abstract: 本发明公开了一种基于眼动特征的换脸视频篡改检测方法及系统，该方法包括下述步骤：检测待测视频中的人眼区域，并对眼部特征点进行定位，并预测眼球中心位置；计算待测视频各帧的视线方向向量，并计算视线变化率序列和视线转移方向序列；根据视线变化率序列计算单眼灵活度；根据视线变化率序列计算双眼视线变化率吻合度，根据视线转移方向序列计算双眼视线转移方向吻合度；根据单眼灵活度、视线变化率吻合度、视线转移方向吻合度判断视频是否经过换脸篡改。本发明从生物信号的角度出发，提取视频中人眼眼球运动的固有特征，从单眼灵活度和双眼吻合度描述真实视频与换脸视频之间的眼动特征差异，提升了检测效果，并具有通用性和实时性。

公开(公告)号：CN110807396B

公开(公告)日：2022-04-22

申请号：CN201911029276.1

申请日：2019-10-28

Applicant: 华南理工大学

Inventor： 胡永健 ,  李纪成 ,  刘琲贝 ,  李猛 ,  林育仪 ,  王宇飞

IPC: G06V20/40 ,  G06V40/16 ,  G06V10/28 ,  G06T7/00 ,  G06T7/13

Abstract: 本发明公开了一种基于光照方向一致性的换脸视频篡改检测方法及系统，该方法包括下述步骤：进行视频分帧并选择检测区域；计算各帧图像检测区域对应的特征图像；将检测区域和特征图像进行分块，逐帧计算每个子区域图像的平均像素值和边缘信息百分比；选择各帧图像的目标区域；计算目标区域的二维光照方向；将目标区域图像对应的边缘信息百分比作为权重，对目标区域的二维光照方向进行加权计算得到各帧图像的二维光照方向；计算各帧图像二维光照方向的角度并构建光照角度集合；根据光照角度集合的标准差与设定判别门限的差值判断待测视频是否为换脸篡改视频。本发明基于视频光照特征进行快速准确的换脸视频篡改检测，具有良好的通用性和实时性。