公开(公告)号：CN119441939A

公开(公告)日：2025-02-14

申请号：CN202411518245.3

申请日：2024-10-29

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  蔡侣盼 ,  王昊为 ,  纪家沂 ,  孙晓帅

IPC: G06F18/24 ,  G06V40/16 ,  G06V40/40 ,  G06F18/213 ,  G06F18/25 ,  G06F18/22 ,  G06N3/0499 ,  G06N3/047 ,  G06N3/0895

Abstract: 本发明公开了一种基于多模态文本增强的跨域人脸防伪造检测方法及装置，涉及网络信息安全技术领域，方法包括：将两类描述文本输入预训练的文本编码器提取代表真实/欺骗的文本类别特征，将图像输入预训练的视觉编码器提取视觉特征；在文本编码器的每一层添加可训练的文本提示，在视觉编码器的每一层添加可训练的视觉提示，视觉编码器的每一层视觉提示由当前层的文本提示经过全连接层转换得到；将PFT模块及TIM模块嵌入到文本编码器和视觉编码器每一层的中间层实现特征交互融合，获取文本类别特征与视觉特征之间的余弦相似度及掩膜，进行人脸真假类别。本发明基于PFT模块及TIM模块，使得模态特征交互在特征提取的过程中同时完成，提升了跨域检测性能。