公开(公告)号：CN119250133A

公开(公告)日：2025-01-03

申请号：CN202411224385.X

申请日：2024-09-03

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  马跃萧 ,  郑侠武 ,  谢展豪 ,  吴宇航 ,  晁飞

IPC: G06N3/0495

Abstract: 本发明公开一种基于联合优化的LLMs组合压缩方法、电子设备和存储介质，将量化和稀疏化方法相结合，并同时最小化量化和稀疏化带来的误差，包括以下步骤：从WikiText2训练语料库中采样128个片段，每个片段包含2048个标签；使用统计指标初始化对角线变换矩阵，使用等效变换操作对权重进行初步量化，确定量化步长和零点，并通过步骤1采样的数据对其进行校准；计算稀疏掩码，使用重要性指标#imgabs0#进行重新排列权重，优先稀疏化不重要的权重；进行联合优化；使用不同的数据集对压缩后的模型进行评估，验证其性能提升。

公开(公告)号：CN118446963A

公开(公告)日：2024-08-06

申请号：CN202410427394.2

申请日：2024-04-10

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  李旭东 ,  张岩 ,  张声传 ,  郑侠武

IPC: G06T7/00 ,  G06T7/11 ,  G06N3/0455 ,  G06N3/08

Abstract: 本发明公开了一种基于空间异构失真感知的无参考图像质量评价方法，涉及图像质量评估技术领域。所述方法包括将输入图像分割成图像块并随机构建空间异构失真生成退化图像；将输入图像和退化图像分别输入学生编码器和教师编码器提取输入图像块失真特征以及退化图像块失真特征，然后送入失真感知知识蒸馏模块通过对比知识蒸馏模块和亲和知识蒸馏模块将输入图像块失真特征与退化图像块失真特征进行交互；构建整体损失函数完成模型训练后，将待评价图像分割成图像块，采用训练好的学生编码器作为失真感知编码器提取特征，再通过解码器解码，通过质量感知适应头计算质量分数。本发明实现了通过分析局部失真块来评估图像质量。

公开(公告)号：CN117173518A

公开(公告)日：2023-12-05

申请号：CN202311131030.1

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06V10/776 ,  G06V10/764 ,  G06V10/40 ,  G06N3/0455

Abstract: 基于跨数据集蒸馏多令牌半监督无参考图像质量评估方法，涉及计算机视觉技术。提出一种基于注意力蒸馏的NR‑IQA方法。有效集成来自不同数据集的知识，以增强图像质量的表示并提高预测的准确性。在Transformer编码器中引入一个蒸馏令牌，使学生模型能在不同的数据集上向老师学习。通过利用来自不同源域的知识，模型能够捕捉到与图像失真相关的基本特征，增强模型的泛化能力。为从不同的角度细化感知信息，引入模拟多个评审员的多个类令牌。提高模型的可解释性，降低预测的不确定性。引入一种称为注意力评分的机制，该机制将来自编码器的注意力评分矩阵与解码器后面的MLP头部相结合，以细化最终质量分数。

公开(公告)号：CN117078656A

公开(公告)日：2023-11-17

申请号：CN202311131117.9

申请日：2023-09-04

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  高体民 ,  潘文胜 ,  郑侠武 ,  张岩

IPC: G06T7/00 ,  G06N3/0464 ,  G06N3/088

Abstract: 一种新型基于多模态提示学习的无监督图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在没有参考图像(原始图像)的条件下模拟人类对图像质量的评估。本发明充分发挥预训练的CLIP模型在挑战性图像感知评估任务中的潜力。首先引入多模态的提示学习，使得能够灵活调整CLIP模型在BIQA的表示空间，从而激发在挑战性图像感知评估任务中的潜力。其次改进之前的文本提示学习的方法，以一种细粒度的文本提示学习代替前人的方法中使用的反义词文本提示学习，从而能够抓取图像的细粒度特征，获得更准确的质量评估。

公开(公告)号：CN116306871A

公开(公告)日：2023-06-23

申请号：CN202310298282.7

申请日：2023-03-24

Applicant: 厦门大学深圳研究院

Inventor： 纪荣嵘 ,  曹刘娟 ,  费翔 ,  郑侠武

IPC: G06N3/08 ,  G06N3/0464 ,  G06N5/04

Abstract: 一种基于重参数化网络的迭代式训练方法，涉及网络结构设计。1)对于给定的重参数化网络结构，设定用于知识蒸馏训练方法的教师网络、最大迭代次数、最大递归深度及每次的迭代次数；2)初始化网络权重或从已收敛的网络中加载预训练权重；3)设定好迭代次数上限，将用于推理的网络重新拓展到用于训练的网络；4)新扩充的分支在满足约束条件下初始化，从数据集中随机抽取部分数据用于前向推理，对各并行分支的BN层参数校正；5)利用教师网络知识蒸馏训练；6)利用重参数化技术无损合并为单分支的纯卷积网络；7)若达到最大递归循环次数或性能已满足需求，则步骤6)所得网络为最终用于部署的网络；反之，则回步骤3)，重复上述训练过程。

公开(公告)号：CN114896436A

公开(公告)日：2022-08-12

申请号：CN202210671640.X

申请日：2022-06-14

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  郑侠武 ,  晁飞 ,  费翔 ,  张雷

IPC: G06F16/53 ,  G06N3/04 ,  G06N3/08 ,  G06V10/762 ,  G06V10/774

Abstract: 一种基于表征互信息的网络结构搜索方法，涉及人工智能技术领域。在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，计算n个网络的RMI分数、q分位数τ，训练拟合随机森林分类器π；从整个神经网络搜索空间随机抽取一批新的网络，从中找到概率最大的一个网络，利用损失函数训练网络，计算其RMI分数，重新拟合训练新的随机森林模型π，判断随机森林训练样本中新网络数量是否达到N，将得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。高效、快速，并可推广到不同的搜索空间。使用RMI和随机森林有效探索整个搜索空间。

公开(公告)号：CN110334235A

公开(公告)日：2019-10-15

申请号：CN201910349620.9

申请日：2019-04-28

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  林贤明 ,  郑侠武

IPC: G06F16/58 ,  G06F16/583 ,  G06F16/55 ,  G06K9/46 ,  G06K9/62

Abstract: 一种中心排序损失及弱监督物体定位的细粒度检索方法，涉及中心排序损失和弱监督物体定位的融合。给定标好的细粒度图像-标签对集合，将图像-标签对集合划分为训练照片样本集、训练画像样本集和测试照片样本集；利用训练集合训练一个神经网络；当计算好损失函数后，为了对神经网络进行参数更新；对神经网络进行训练之后，通过CNN高层语义信息的物体粗定位，然后沿着第三个维度方向进行加和操作，最后大于平均值的位置置为1，小于平均值的位置置为0；根据得到的图像蒙版，当图像蒙版值为1时，定义这个位置所包含的物体为前景物体，反之，当值为0时，定义这个位置背景；对于给定的物体定位分割，重新抽取更加具有区分度的特征。

公开(公告)号：CN119206162A

公开(公告)日：2024-12-27

申请号：CN202411027392.0

申请日：2024-07-30

Applicant: 厦门大学

Inventor： 张声传 ,  丁昊扬 ,  张岩 ,  曹刘娟 ,  纪荣嵘 ,  郑侠武

IPC: G06V10/25 ,  G06V10/82 ,  G06V10/44 ,  G06V10/80 ,  G06N3/0464

Abstract: 本发明涉及一种基于频域方法的弱监督伪装目标检测方法、系统、介质及程序产品，其首先将主干网络提取的特征分解为高频和低频，然后，分别增强每组特征，并通过自底向上的粗到细策略逐步优化，有效地突出伪装目标的判别特征。对比弱监督伪装目标检测上现有的RGB方法，本发明在频域中更显著地突显出了伪装线索，使得伪装物体的边缘更易被察觉，具有更好的分割效果。此外，从频率域中捕获的信息可以弥补弱监督训练中稀疏注释的局限性。

公开(公告)号：CN119025640A

公开(公告)日：2024-11-26

申请号：CN202411039887.5

申请日：2024-07-31

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  黄伟中 ,  张玉鑫 ,  郑侠武

IPC: G06F16/332 ,  G06F18/2136 ,  G06F18/214

Abstract: 本发明涉及一种基于参数高效微调的大语言模型稀疏方法及对话生成方法，其根据权重重要性度量同时稀疏LLM和低秩矩阵，保证二者具有相同的稀疏掩码，在微调之后能够合并。在每次迭代中根据互信息指标确定每一层的重要性，在保持平均稀疏率不变的情况下，为较重要的层设置较低的稀疏率，较不重要的层设置较高的稀疏率。在微调过程中计算稀疏LLM每一层的重建误差，在微调参数预算约束下，为具有较大重建误差的层分配较多的微调参数，即分配较大的秩，重建误差较小的层分配较小的秩。因此，本发明能够在高稀疏配置下显著提高大语言模型的性能。

公开(公告)号：CN118433331A

公开(公告)日：2024-08-02

申请号：CN202410347891.1

申请日：2024-03-26

Applicant: 厦门大学

Inventor： 纪荣嵘 ,  罗咏东 ,  林豪佳 ,  郑侠武 ,  蒋易耕 ,  晁飞

IPC: H04N5/278 ,  G06T7/33

Abstract: 本发明公开了一种三维点云密集字幕生成和视觉定位的联合推理方法及装置，涉及三维视觉任务技术领域。所述方法包括：将双线索描述生成器DCC作为密集字幕生成模块引入基于DETR架构的3DVG模型构成联合模型，DCC处理双重视觉线索Vc=(Q,V)，在描述一个提议时，标准的“序列开始标记”前缀被描述查询中的查询Q替换，以识别焦点中的物体，同时引入视觉特征V作为物体与周围环境互动和关系信息的载体；模型推理时，描述性文本包括3DVG描述文本和/或3DDC描述文本，得到描述的目标框和/或所有标签框及对应的密集的字幕。本发明提供的一种三维点云密集字幕生成和视觉定位的联合推理方法及装置，通过构建单阶段的联合推理框架实现了高效的端到端训练。