-
Patent Agency Ranking
公开(公告)号：CN117830638B
公开(公告)日：2024-07-19
申请号：CN202410239251.9
申请日：2024-03-04
Applicant: 厦门大学
IPC: G06V10/26 , G06V10/778 , G06V10/764 , G06V10/774
Abstract: 本发明提供基于提示文本的面向全方位监督语义分割方法，能有效利用各种低成本图像标签以减少训练数据集的人工标注成本，达到降低语义分割方法训练成本的目的，提高语义分割模型的性能和泛化性，并通过结合视觉语言多模态模型，输入提示文本来指导模型筛选图像中的语义分割目标，通过提示文本定位出图像中目标所在位置。该语义分割方法基于教师‑学生模型框架进行改进并利用人工标注的图像全方位标签监督训练模型，包括：步骤1、计算全方位监督时教师‑学生模型框架的损失函数#imgabs0#；步骤2、通过指数移动平均算法更新教师模型的权重#imgabs1#。
-
公开(公告)号：CN118153645B
公开(公告)日：2024-11-12
申请号：CN202410569057.7
申请日：2024-05-09
Applicant: 厦门大学
IPC: G06N3/0499 , G06N3/096
Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。
-
公开(公告)号：CN119919768A
公开(公告)日：2025-05-02
申请号：CN202411947918.7
申请日：2024-12-27
Applicant: 厦门大学
Abstract: 本发明提供一种基于图信息传播的视觉令牌剪枝方法，包括对输入图像进行视觉提取得到视觉令牌；初始化视觉令牌的重要性评分；构建关于视觉令牌的图结构，将每一视觉令牌作为节点，计算邻接矩阵，用以构建视觉令牌间的连接，初始化图结构；通过预设的相似度阈值更新邻接矩阵，得到不同区域的视觉令牌子图结构；对邻接矩阵的每一行进行归一化处理，对节点信息进行迭代传播，计算每一视觉令牌的最终得分；根据视觉令牌的最终得分筛选出k个分值最高的视觉令牌进行投影；将投影得到的视觉令牌与文本令牌进行拼接，输入给大语言模型，得到输出结果。本发明方法可提高模型的计算效率，在保持视觉任务性能的同时显著降低计算成本。
-
公开(公告)号：CN118153645A
公开(公告)日：2024-06-07
申请号：CN202410569057.7
申请日：2024-05-09
Applicant: 厦门大学
IPC: G06N3/0499 , G06N3/096
Abstract: 本发明提供一种基于多头注意力冗余评估的大规模预训练模型迁移方法，所述方法包括：获取大规模预训练模型，在每个多头注意力模块前插入一个传播信息适配器；计算每一个多头注意力模块的偏好得分；将偏好得分按照从高到低排序，筛选出偏好得分最低的一定数量的多头注意力模块作为被跳过的模块；对于每一个被跳过的模块，用其同层的传播信息适配器替代，执行信息交换和模态路由，得到紧凑的网络模型；对所述紧凑的网络模型进行训练；训练完成后，将传播信息适配器与网络进行重参数化，得到训练后的模型。本发明方法可在保持或提高模型性能的同时显著减少模型的参数数量和推理时间，从而提高模型迁移效率。
-
公开(公告)号：CN117830638A
公开(公告)日：2024-04-05
申请号：CN202410239251.9
申请日：2024-03-04
Applicant: 厦门大学
IPC: G06V10/26 , G06V10/778 , G06V10/764 , G06V10/774
Abstract: 本发明提供基于提示文本的面向全方位监督语义分割方法，能有效利用各种低成本图像标签以减少训练数据集的人工标注成本，达到降低语义分割方法训练成本的目的，提高语义分割模型的性能和泛化性，并通过结合视觉语言多模态模型，输入提示文本来指导模型筛选图像中的语义分割目标，通过提示文本定位出图像中目标所在位置。该语义分割方法基于教师‑学生模型框架进行改进并利用人工标注的图像全方位标签监督训练模型，包括：步骤1、计算全方位监督时教师‑学生模型框架的损失函数#imgabs0#；步骤2、通过指数移动平均算法更新教师模型的权重#imgabs1#。
-
-
-
-
Search Results
5
records
(took 0.013 seconds)
