-
公开(公告)号：CN119416849A
公开(公告)日：2025-02-11
申请号：CN202411277413.4
申请日：2024-09-12
Applicant: 厦门大学
IPC: G06N3/082 , G06N3/0499 , G06N3/084
Abstract: 本发明公开了一种用于高效N_M稀疏训练的块感知掩码进化方法，涉及神经网络压缩与加速技术领域。所述方法包括：对于N：M稀疏模式，将权重向量划分为固定大小M的权重块；对于每个权重块分别计算权重指标，然后根据权重指标适应得到相应的二进制掩码；对每组权重块计算稀疏架构差异得到块感知分数，然后选取高频掩码块；组合二进制掩码与高频掩码块实现联合优化，得到新掩码，通过新掩码更新原始掩码以及进行剪枝和恢复权重，降低训练损失。本发明提供的一种用于高效N_M稀疏训练的块感知掩码进化方法，在整个训练过程中执行稀疏的前向和后向传播，大大减轻了训练成本。
-
公开(公告)号：CN114896436B
公开(公告)日：2024-04-30
申请号：CN202210671640.X
申请日：2022-06-14
Applicant: 厦门大学
IPC: G06F16/53 , G06N3/0464 , G06N3/047 , G06N3/08 , G06V10/762 , G06V10/774
Abstract: 一种基于表征互信息的网络结构搜索方法，涉及人工智能技术领域。在神经网络搜索空间中，随机采样n个神经网络，利用RMI联合分类损失函数训练网络，计算n个网络的RMI分数、q分位数τ，训练拟合随机森林分类器π；从整个神经网络搜索空间随机抽取一批新的网络，从中找到概率最大的一个网络，利用损失函数训练网络，计算其RMI分数，重新拟合训练新的随机森林模型π，判断随机森林训练样本中新网络数量是否达到N，将得到的所有优秀网络样本集中网络结构的众数作最终输出的最优网络结构，利用优秀网络结构集上的统计规律，获得最可能的最优架构。高效、快速，并可推广到不同的搜索空间。使用RMI和随机森林有效探索整个搜索空间。
-
公开(公告)号：CN117274189A
公开(公告)日：2023-12-22
申请号：CN202311213210.4
申请日：2023-09-20
Applicant: 厦门大学
IPC: G06T7/00 , G06N3/0464 , G06N3/047 , G06N3/08
Abstract: 一种基于软邻居聚合的点云分析方法，涉及神经网络结构设计。包括以下步骤：1)使用神经网络更新点云中各点特征，使用球形查询获取点云中各个点的邻居点特征；2)使用SWT模块对点云中各个点的邻居点特征进行聚合；3)使用神经网络对每个SWT所汇集到的特征进行增强；4)使用解码器将特征映射回原空间，输出结果。通过对点云分析所使用神经网络的邻居聚合模块进行改进，增强点云分析神经网络的性能。可在3D分割任务中达到更好的性能。
-
公开(公告)号：CN117115123A
公开(公告)日：2023-11-24
申请号：CN202311131204.4
申请日：2023-09-04
Applicant: 厦门大学
Abstract: 一种新型的基于文本‑图像对的无参考图像质量评估方法，属于计算机视觉技术领域。无参考图像质量评估旨在模拟人类对图像失真的评估，提供一种新型的基于文本‑图像对的无参考图像质量评估方法，充分发挥CLIP模型在挑战性图像感知评估任务中的潜力。首先，提出一种细粒度的质量级别分层策略，使得学习到的特征与图像质量更密切相关。其次，提出一个两阶段训练模型。在模型中，引入一组可学习的文本标记，以充分利用文本编码器的表征能力。同时，提出一个质量感知模块，用于从多个角度评估图像质量并提取与质量级别密切相关的深层特征。
-
公开(公告)号：CN117173518B
公开(公告)日：2025-05-16
申请号：CN202311131030.1
申请日：2023-09-04
Applicant: 厦门大学
IPC: G06V10/776 , G06V10/764 , G06V10/40 , G06N3/0455
Abstract: 基于跨数据集蒸馏多令牌半监督无参考图像质量评估方法，涉及计算机视觉技术。提出一种基于注意力蒸馏的NR‑IQA方法。有效集成来自不同数据集的知识，以增强图像质量的表示并提高预测的准确性。在Transformer编码器中引入一个蒸馏令牌，使学生模型能在不同的数据集上向老师学习。通过利用来自不同源域的知识，模型能够捕捉到与图像失真相关的基本特征，增强模型的泛化能力。为从不同的角度细化感知信息，引入模拟多个评审员的多个类令牌。提高模型的可解释性，降低预测的不确定性。引入一种称为注意力评分的机制，该机制将来自编码器的注意力评分矩阵与解码器后面的MLP头部相结合，以细化最终质量分数。
-
Patent Agency Ranking
公开(公告)号：CN119723423A
公开(公告)日：2025-03-28
申请号：CN202411959661.7
申请日：2024-12-30
Applicant: 厦门大学
Abstract: 本发明公开一种自适应的多模态协同视频理解系统及方法，通过自适应的多模态协同处理框架解决长视频理解的挑战。不同于现有技术主要依赖增加采样密度的预训练模型或使用专有模型，本发明设计了一套完整的信息提取和融合机制，能够智能地整合视频中的多维度信息。系统首先通过解耦文本提示将用户查询解析为多维度的信息检索需求，然后通过并行化处理实现同时提取视频中的多模态信息，再采用基于相似度的自适应采样机制实现信息的精准提取以确保处理效率，最后通过信息融合与循环增强机制，使得系统能够持续优化理解结果，直到达到预期的理解深度。本发明能够节约更多的GPU资源，灵活度更高，完全依赖于开源模型，使用成本将极大减少。
-
公开(公告)号：CN119106117A
公开(公告)日：2024-12-10
申请号：CN202411037233.9
申请日：2024-07-31
Applicant: 厦门大学
IPC: G06F16/332 , G06F16/33 , G06F18/214
Abstract: 本发明涉及一种面向量化大语言模型高效微调的低秩矩阵的缩放调节方法及对话生成方法，本发明在权重微调的过程中，对所有的数据会进行逐批次的迭代，迭代过程用以计算前向计算和反向计算，以进行模型优化。且在每次迭代中考虑量化比特宽度带来的影响，避免因为不同比特量化带来的误差导致欠拟合和过拟合问题。同时，在每次迭代中本专利使用和量化网络同粒度的低秩矩阵，这样在量化微调结束后可以保持量化格式的不变。因此解决现有技术中不同量化位宽下低秩矩阵的缩放调节不当等问题，提高了大语言模型微调的性能。
-
公开(公告)号：CN119048889A
公开(公告)日：2024-11-29
申请号：CN202411127983.5
申请日：2024-08-16
Applicant: 厦门大学
IPC: G06V10/98 , G06V10/82 , G06V10/74 , G06N3/0455 , G06N3/042 , G06N3/0895
Abstract: 本发明公开一种基于HVS的上下文对比和局部敏感特性的无参考图像质量评估方法、电子设备和存储介质，解决现有技术中存在的缺少全面模拟人类质量感知的缺陷而导致评价精度较低问题，能够更精确地模拟人类感知过程，提高图像质量评估的精度。该评估方法，包括以下步骤：步骤1、构建网络模型，该网络模型包括以Transformer为主干网路预训练的BIQA教师模型、与教师模型具有相同主干网络的BIQA学生模型；步骤2、给定用于图像质量评估的训练数据集，对网络模型进行训练；步骤3、将待评估图像输入训练后的网络模型，由网络模型输出预测的分数结果。
-
公开(公告)号：CN118469034A
公开(公告)日：2024-08-09
申请号：CN202410497220.3
申请日：2024-04-24
Applicant: 厦门大学
Abstract: 本发明公开一种基于可逆变换的大语言模型量化方法，通过初始化可逆矩阵N，将其融合到权重和激活中，通过少量校准数据集更新N，保证其可逆性，并最终获得提高量化性能的大语言模型，可以应用在大语言模型相关的任何领域以实现对大语言模型的压缩和加速，具体来说可以应用在文本翻译、常识推理、日常问答等等领域；本发明通过将可逆矩阵N前置应用于权重矩阵W，可以更有效地匹配权重分布和量化函数Q()，通过扩展优化的范围，可以降低权重的量化误差，进而减少模型的困惑度，减少计算开销。
-
公开(公告)号：CN116977752A
公开(公告)日：2023-10-31
申请号：CN202310949299.4
申请日：2023-07-31
Applicant: 厦门大学
IPC: G06V10/77 , G06V10/82 , G06V10/26 , G06N3/0455 , G06N3/08
Abstract: 一种基于软邻居聚合的点云分析方法，涉及神经网络结构设计。针对最大池化函数在点云分析的邻居聚合过程中造成信息损失的问题，提供一种基于软邻居聚合的点云分析方法。包括以下步骤：1)使用神经网络更新点云中各点特征，使用球形查询获取点云中各个点的邻居点特征。2)使用SMA模块对点云中各个点的邻居点特征进行聚合。3)使用神经网络对每个SMA所汇集到的特征进行增强。4)使用解码器将特征映射回原空间，输出结果。通过对点云分析所使用神经网络的邻居聚合模块进行改进，增强点云分析神经网络的性能。相对于现有其他方法，可以在3D分割任务中达到更好的性能。
-
-
-
-
-
-
-
-
-
Search Results
33
records
(took 0.016 seconds)
