Patent search ap:("桂林电子科技大学") AND inv:"冯明锋" Page 1

1.

发明公开
一种基于对比对齐的中文恶意模因判别方法审中-实审

公开(公告)号：CN117828370A

公开(公告)日：2024-04-05

申请号：CN202410014855.3

申请日：2024-01-04

Applicant: 桂林电子科技大学

Inventor： 古天龙 , 冯明锋 , 冯旋 , 常亮

IPC: G06F18/22 , G06F18/25

Abstract: 该方法在里面使用了跨模态对比学习技术使匹配的图像和文本对在语义空间中的距离拉近，不匹配的图像文本对在语义空间的距离变远。同时由于文本往往未能充分描述图像，使它们在语义空间内距离靠近会丢失部分图像信息，所以进一步提出了模态内对比学习，使同一模态内增强的图像或文本在语义空间内的距离拉近，从而学到一种更加合理的多模态表示。之后为了充分利用输入中的局部和结构化信息，又引入了总体与局部的对比学习，最后为了充分利用多模态预训练模型中的隐含知识，我们引入了一段可学习的视觉提示向量到视觉编码器中，同时冻结视觉编码器的主体结构。同时，为了弥补中文模因资源的匮乏，我们构造了首个中文恶意模因数据集。

Patent Agency Ranking