-
公开(公告)号：CN118886453B
公开(公告)日：2024-11-29
申请号：CN202411376160.6
申请日：2024-09-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0455 , G06N3/082 , G06N3/084 , G06N3/0985
Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品，所述基于低秩量化大模型的预测方法包括：获取预测模型，其中，预测模型为大模型；通过将预测模型中的线性层的参数进行低秩分解，得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵；基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵，构建与线性层对应的量化低秩模块，其中，量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层；通过将预测模型中的线性层替换为量化低秩模块，得到压缩后的预测模型；将输入数据输入到压缩后的预测模型，得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。
-
公开(公告)号：CN118171697B
公开(公告)日：2024-08-30
申请号：CN202410584793.X
申请日：2024-05-13
Applicant: 国网山东省电力公司济南供电公司 , 中国科学院自动化研究所
Inventor： 胥明凯 , 任志刚 , 李琮 , 杨杰 , 陈显达 , 王淑颖 , 王思源 , 刘昭 , 刘晓 , 刘哲 , 王万国 , 胡庆浩 , 李章明 , 高翔 , 邵帅 , 郑义斌 , 张雨薇
IPC: G06N3/0464 , G06N3/082
Abstract: 本发明的一种深度神经网络压缩的方法、装置、计算机设备和存储介质，属于卷积神经网络技术领域，方法包括：获取原始深度神经网络的权重矩阵；通过局部结构化稀疏处理对权重矩阵进行稀疏剪枝；通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩，获得压缩权重；将压缩权重放入adam模块进行微调，获得压缩后的输变电缺陷识别模型。本发明通过结构化稀疏提高了计算效率，通过乘积量化降低了存储开销，结构化稀疏和乘积量化两者协同工作，大大提高了深度神经网络的压缩率。
-
Patent Agency Ranking
公开(公告)号：CN118886453A
公开(公告)日：2024-11-01
申请号：CN202411376160.6
申请日：2024-09-29
Applicant: 中国科学院自动化研究所
IPC: G06N3/0455 , G06N3/082 , G06N3/084 , G06N3/0985
Abstract: 本公开涉及一种基于低秩量化大模型的预测方法、装置、电子设备、存储介质和计算机程序产品，所述基于低秩量化大模型的预测方法包括：获取预测模型，其中，预测模型为大模型；通过将预测模型中的线性层的参数进行低秩分解，得到第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵；基于第一低秩矩阵、第二低秩矩阵、和第三低秩矩阵，构建与线性层对应的量化低秩模块，其中，量化低秩模块依次包含第一激活量化层、第一线性层、尺度缩放层、第二激活量化层、和第二线性层；通过将预测模型中的线性层替换为量化低秩模块，得到压缩后的预测模型；将输入数据输入到压缩后的预测模型，得到与输入数据对应的预测结果。能够解决模型预测推理速度低下的问题。
-
公开(公告)号：CN118673999B
公开(公告)日：2024-12-06
申请号：CN202411141783.5
申请日：2024-08-20
Applicant: 中国科学院自动化研究所
IPC: G06N3/09 , G06N3/045 , G06N3/042 , G06N3/0499
Abstract: 本申请提供一种大模型微调方法、装置、设备、介质及程序产品，涉及人工智能技术领域。所述方法包括：对大模型中的每个自注意力层，构建重参数化因子；重参数化因子的数量为多个；重参数化因子为多头权重；基于重参数化因子，构建静态多头自注意力权重；基于静态多头自注意力权重与初始自注意力图，确定第一微调模块；基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块；低秩适配器参数包括多个低秩矩阵；基于第一微调模块与第二微调模块，在训练数据上进行大模型部分参数的调整。本申请提供的大模型微调方法、装置、设备、介质及程序产品，可以将线性层的重参数化手段和注意力机制的微调结合起来，能够全面又高效地进行大模型微调。
-
公开(公告)号：CN118673999A
公开(公告)日：2024-09-20
申请号：CN202411141783.5
申请日：2024-08-20
Applicant: 中国科学院自动化研究所
IPC: G06N3/09 , G06N3/045 , G06N3/042 , G06N3/0499
Abstract: 本申请提供一种大模型微调方法、装置、设备、介质及程序产品，涉及人工智能技术领域。所述方法包括：对大模型中的每个自注意力层，构建重参数化因子；重参数化因子的数量为多个；重参数化因子为多头权重；基于重参数化因子，构建静态多头自注意力权重；基于静态多头自注意力权重与初始自注意力图，确定第一微调模块；基于目标前馈神经网络层与低秩适配器参数，确定第二微调模块；低秩适配器参数包括多个低秩矩阵；基于第一微调模块与第二微调模块，在训练数据上进行大模型部分参数的调整。本申请提供的大模型微调方法、装置、设备、介质及程序产品，可以将线性层的重参数化手段和注意力机制的微调结合起来，能够全面又高效地进行大模型微调。
-
公开(公告)号：CN118171697A
公开(公告)日：2024-06-11
申请号：CN202410584793.X
申请日：2024-05-13
Applicant: 国网山东省电力公司济南供电公司 , 中国科学院自动化研究所
Inventor： 胥明凯 , 任志刚 , 李琮 , 杨杰 , 陈显达 , 王淑颖 , 王思源 , 刘昭 , 刘晓 , 刘哲 , 王万国 , 胡庆浩 , 李章明 , 高翔 , 邵帅 , 郑义斌 , 张雨薇
IPC: G06N3/0464 , G06N3/082
Abstract: 本发明的一种深度神经网络压缩的方法、装置、计算机设备和存储介质，属于卷积神经网络技术领域，方法包括：获取原始深度神经网络的权重矩阵；通过局部结构化稀疏处理对权重矩阵进行稀疏剪枝；通过乘积量化方法对稀疏剪枝后权重矩阵进行矩阵权重压缩，获得压缩权重；将压缩权重放入adam模块进行微调，获得压缩后的输变电缺陷识别模型。本发明通过结构化稀疏提高了计算效率，通过乘积量化降低了存储开销，结构化稀疏和乘积量化两者协同工作，大大提高了深度神经网络的压缩率。
-
公开(公告)号：CN114511729A
公开(公告)日：2022-05-17
申请号：CN202111617494.4
申请日：2021-12-27
Applicant: 中国科学院自动化研究所
IPC: G06V10/764 , G06K9/62 , G06V10/774
Abstract: 本发明提供一种社会事件分类方法及装置，获取目标数据集；将目标数据集输入社会事件分类模型，获取社会事件分类模型输出的目标数据集对应的社会事件分类结果；其中，目标数据集包括图像集和文本集，图像集中的部分图像与文本集中的部分文本具有对应关系；社会事件分类模型，是基于样本数据集以及样本数据集对应的社会事件分类结果进行训练得到的；样本数据集包括样本图像集和样本文本集，样本图像集中的部分样本图像与样本文本集中的部分样本文本具有对应关系。本发明提供的社会事件分类方法及装置，能更准确、更高效的对包括完备的多模态数据以及不完备的多模态数据的混合数据进行社会事件分类。
-
-
-
-
-
-
Search Results
7
records
(took 0.023 seconds)
