-
公开(公告)号:CN119721236A
公开(公告)日:2025-03-28
申请号:CN202411614980.4
申请日:2024-11-13
Applicant: 之江实验室
IPC: G06N5/04 , G06N3/0442 , G06N3/045 , G06N3/0455 , G06N3/042 , G06N3/048
Abstract: 本发明公开了一种基于轻量门控机制的大模型推理优化方法和系统,旨在提升大规模预训练模型在推理任务中的效率,并显著减少计算资源消耗。该方法首先对预训练模型进行初始化,在推理过程中引入动态路由机制,结合轻量门控和阈值判断机制,有效筛选推理过程中的关键层输出。通过对每层的输出进行动态评估,利用门控LSTM单元生成门控输出值,并通过sigmoid函数激活生成层的重要性分数。如果该分数低于预设阈值,则跳过该层计算,以减少不必要的计算开销。此优化策略能够自适应地判断每层输出的重要性,在保证模型输出质量的前提下,减少冗余计算,提高推理速度。本发明适用于多种任务场景,包括自然语言处理、图像生成等,具有广泛的应用价值。
-
公开(公告)号:CN115827880B
公开(公告)日:2023-05-16
申请号:CN202310126790.7
申请日:2023-02-10
Applicant: 之江实验室
Abstract: 本说明书公开一种基于情感分类的业务执行方法及装置,获取待识别文本,而后,可以通过预先训练的各识别模型,对待识别文本进行情感分类,得到每个识别模型输出的分类结果,并针对每个识别模型,确定该识别模型输出的分类结果与其他识别模型输出的分类结果之间的差异程度,作为该识别模型对应的冲突度量。进而根据各识别模型对应的冲突度量以及待确定的各识别模型对应的权重项,构建非线性函数,最后以非线性函数满足预设条件为优化目标,确定各识别模型对应的权重,并根据各识别模型对应的权重以及各识别模型对应的分类结果,确定综合分类结果,以及根据综合分类结果,进行业务执行,从而提高了情感分类的准确率。
-
-
公开(公告)号:CN119990234A
公开(公告)日:2025-05-13
申请号:CN202510071779.4
申请日:2025-01-16
Applicant: 之江实验室
IPC: G06N3/082 , G06N3/096 , G06N3/0495 , G06N3/0442 , G06N3/0455 , G06N5/04
Abstract: 本说明书公开了一种模型剪枝、任务执行方法、装置、存储介质及设备。在此方法中,可以获取待处理模型,并针对待处理模型中包含的每层中间层,根据在通过待处理模型执行推理任务的过程中输入到该中间层的输入数据和通过该中间层得到的输出结果,对该中间层进行重要性量化评估,以确定该中间层的互信息量化贡献值,进而可以根据每层中间层的互信息量化贡献值,从各中间层中选取出冗余中间层,并根据选取结果,对待处理模型进行剪枝处理,得到处理后的模型,以在降低处理后的模型的参数量的同时避免对处理后的模型进行大规模的重训练,从而可以降低对大规模深度学习模型进行调整所需的成本。
-
公开(公告)号:CN114463827A
公开(公告)日:2022-05-10
申请号:CN202210380482.2
申请日:2022-04-12
Applicant: 之江实验室
IPC: G06V40/16 , G06V10/774 , G06K9/62 , G10L25/63
Abstract: 本发明提出了一种基于DS证据理论的多模态实时情绪识别方法及系统,该方法包括:步骤一,搭建虚拟现实场景,部署语音对话模块和面部表情识别模块,被试者通过语音对话模块进行实时语音对话,并通过虚拟现实头戴式设备同步采集被试者语音数据、人脸数据和瞳孔数据;步骤二,在语音数据上提取特征向量,输入到训练好的语音情绪识别模型,输出语音情绪识别结果;步骤三,在人脸数据上提取人脸几何特征向量,融合瞳孔直径特征,输入到训练好的面部表情情绪识别模型,输出面部表情情绪识别结果;步骤四,将语音情绪识别结果和面部表情情绪识别结果通过DS证据理论融合得到综合情绪识别结果。本发明能有效提高情绪识别的准确率,具有广泛的应用前景。
-
-
公开(公告)号:CN115827880A
公开(公告)日:2023-03-21
申请号:CN202310126790.7
申请日:2023-02-10
Applicant: 之江实验室
Abstract: 本说明书公开一种基于情感分类的业务执行方法及装置,获取待识别文本,而后,可以通过预先训练的各识别模型,对待识别文本进行情感分类,得到每个识别模型输出的分类结果,并针对每个识别模型,确定该识别模型输出的分类结果与其他识别模型输出的分类结果之间的差异程度,作为该识别模型对应的冲突度量。进而根据各识别模型对应的冲突度量以及待确定的各识别模型对应的权重项,构建非线性函数,最后以非线性函数满足预设条件为优化目标,确定各识别模型对应的权重,并根据各识别模型对应的权重以及各识别模型对应的分类结果,确定综合分类结果,以及根据综合分类结果,进行业务执行,从而提高了情感分类的准确率。
-
-
-
-
-
-