公开(公告)号：CN119782889A

公开(公告)日：2025-04-08

申请号：CN202411952956.1

申请日：2024-12-27

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 巫啸宇 ,  王婧宜 ,  徐楠 ,  郝燕妮 ,  李军锋 ,  曹家 ,  罗引 ,  王磊

IPC: G06F18/24 ,  G06F18/213 ,  G06V10/44 ,  G06N3/0455 ,  G06F18/22 ,  G06N3/048

Abstract: 本申请涉及一种基于大模型的多模态假新闻检测方法、装置、及设备，尤其涉及信息处理技术领域。包括：将多模态待测新闻分别输入大模型gte‑Qwen2‑1.5B‑instruct、预训练视觉模型SwinT和预训练图文对比模型Clip，得到文本特征、图像特征以及文本对比特征和图像对比特征；计算归一化后的文本对比特征与图像对比特征之间的余弦相似度，得到图文相似度；将图文相似度作为注意力矩阵阈值来增强文本特征和图像特征，以提取局部异同特征；将图文相似度作为权重来增强文本特征和图像特征，以提取全局异同特征；将局部异同特征和全局异同特征输入假新闻分类器，得到假新闻分类器输出的多模态待测新闻的真实性预测值。