公开(公告)号：CN119919768A

公开(公告)日：2025-05-02

申请号：CN202411947918.7

申请日：2024-12-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  蒋雨涛 ,  吴穹 ,  林文浩

IPC: G06V10/82 ,  G06V10/77 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/082 ,  G06N5/04 ,  G06F18/25

Abstract: 本发明提供一种基于图信息传播的视觉令牌剪枝方法，包括对输入图像进行视觉提取得到视觉令牌；初始化视觉令牌的重要性评分；构建关于视觉令牌的图结构，将每一视觉令牌作为节点，计算邻接矩阵，用以构建视觉令牌间的连接，初始化图结构；通过预设的相似度阈值更新邻接矩阵，得到不同区域的视觉令牌子图结构；对邻接矩阵的每一行进行归一化处理，对节点信息进行迭代传播，计算每一视觉令牌的最终得分；根据视觉令牌的最终得分筛选出k个分值最高的视觉令牌进行投影；将投影得到的视觉令牌与文本令牌进行拼接，输入给大语言模型，得到输出结果。本发明方法可提高模型的计算效率，在保持视觉任务性能的同时显著降低计算成本。