公开(公告)号：CN119204137A

公开(公告)日：2024-12-27

申请号：CN202411264192.7

申请日：2024-09-10

Applicant: 厦门大学

Inventor： 周奕毅 ,  叶伟豪 ,  纪荣嵘 ,  吴穹

IPC: G06N3/082 ,  G06N3/045 ,  G06V10/82 ,  G06V20/70 ,  G06F40/279 ,  G06F18/25

Abstract: 本发明公开了一种基于多模态大模型的自适应视觉标记剪枝方法及装置，方法包括：计算视觉标记的两个初始分布；根据二分查找算法初始化误差阈值；使用贪心算法删除对两个初始分布影响最小的视觉标记直到两个初始分布的误差均达到误差阈值，得到两组候选删除标记并取交集，基于交集对视觉标记进行删除；根据删除完视觉标记的模型运算量与目标计算量更新误差阈值边界；重复删除与更新步骤直到达到停止条件，计算一批数据平均每层视觉标记删除的数量作为删除策略；对待删除的视觉标记进行排序后再记按照删除策略进行删除。本发明通过自动识别和移除冗余视觉标记来优化计算资源的使用，在不牺牲模型性能的前提下降低运行成本、加速模型的推理速度。

公开(公告)号：CN118153645B

公开(公告)日：2024-11-12

申请号：CN202410569057.7

申请日：2024-05-09

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  吴穹 ,  叶伟豪

IPC: G06N3/0499 ,  G06N3/096

Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。

公开(公告)号：CN116757248A

公开(公告)日：2023-09-15

申请号：CN202310758646.5

申请日：2023-06-26

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周奕毅 ,  吴穹

IPC: G06N3/045 ,  G06F18/24 ,  G06N3/08 ,  G06F17/16 ,  G06N5/04

Abstract: 一种参数高效的大规模预训练模型迁移方法，涉及大规模预训练模型。基于Transformer的大规模预训练模型，优化用于建立自注意力机制的提示向量，在注意力模块中插入提示学习逼近模块和经过扩展的自注意力模块，以降低提示学习带来的额外计算开销，提升信息扩散的效率。1)将提示学习逼近模块插入到Transformer模型的注意力机制中，并添加任务关联的分类器；2)在下游任务上进行微调，实现参数高效的大规模预训练模型的迁移。不仅实现更加高效的输入序列间关系建立，同时允许额外的提示向量遵循新的模式建立与输入序列的联系。在低成本地实现迁移的同时，尽可能降低带来的额外开销。

公开(公告)号：CN118153645A

公开(公告)日：2024-06-07

申请号：CN202410569057.7

申请日：2024-05-09

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  吴穹 ,  叶伟豪

IPC: G06N3/0499 ,  G06N3/096

Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。

公开(公告)号：CN119919768A

公开(公告)日：2025-05-02

申请号：CN202411947918.7

申请日：2024-12-27

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周毅奕 ,  蒋雨涛 ,  吴穹 ,  林文浩

IPC: G06V10/82 ,  G06V10/77 ,  G06V20/70 ,  G06N3/0455 ,  G06N3/082 ,  G06N5/04 ,  G06F18/25

Abstract: 本发明提供一种基于图信息传播的视觉令牌剪枝方法，包括对输入图像进行视觉提取得到视觉令牌；初始化视觉令牌的重要性评分；构建关于视觉令牌的图结构，将每一视觉令牌作为节点，计算邻接矩阵，用以构建视觉令牌间的连接，初始化图结构；通过预设的相似度阈值更新邻接矩阵，得到不同区域的视觉令牌子图结构；对邻接矩阵的每一行进行归一化处理，对节点信息进行迭代传播，计算每一视觉令牌的最终得分；根据视觉令牌的最终得分筛选出k个分值最高的视觉令牌进行投影；将投影得到的视觉令牌与文本令牌进行拼接，输入给大语言模型，得到输出结果。本发明方法可提高模型的计算效率，在保持视觉任务性能的同时显著降低计算成本。

公开(公告)号：CN117172309A

公开(公告)日：2023-12-05

申请号：CN202311123355.5

申请日：2023-09-01

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  周奕毅 ,  吴穹

IPC: G06N3/096 ,  G06N3/092 ,  G06N3/045

Abstract: 一种参数高效的大规模预训练模型迁移方法，涉及深度学习自然语言处理领域。1)模型预训练，计算每一个模块的得分；2)依据每一个模块的得分，采样一个模型结构；3)基于若干个采样得到的结构，通过比较动量地更新每一个模块的冗余度；4)短接具有最大冗余度的m个模块作为最终的网络。通过训练和比较过程，在给定短接m个模块的前提下，获得具有最佳性能的模型，并使模型可以在下游任务中发挥良好的性能。主要面向跨模态大规模预训练模型，通过强化学习方法，评估大规模预训练模型中每一个模块的冗余程度。通过对所有被认为是冗余的多模态预训练模块短接一个轻量级适应器，实现在训练阶段的效率提升，也提高模型在部署阶段的推理效率。