-
公开(公告)号：CN113408721A
公开(公告)日：2021-09-17
申请号：CN202011567991.3
申请日：2020-12-25
Applicant: 中国科学院信息工程研究所 , 腾讯科技(深圳)有限公司
Abstract: 本申请涉及一种神经网络结构搜索方法、装置、计算机设备和存储介质。方法包括：将训练神经网络结构输入图神经网络中，得到对应的离散结构特征；将离散结构特征输入至编码网络，通过编码网络将离散结构特征编码为连续结构特征；根据连续结构特征及解码网络进行解码，得到重构神经网络结构；基于训练神经网络结构和重构神经网络结构之间的重构损失，训练图神经网络、编码网络及解码网络，直至满足训练停止条件时，得到目标编码网络及目标解码网络，将目标编码网络对应的隐空间确定为目标搜索空间；根据目标搜索策略从目标搜索空间进行搜索得到目标结构特征，并通过目标解码网络解码得到目标神经网络结构。采用本方法可以提高神经网络结构搜索效率。
-
公开(公告)号：CN112561031A
公开(公告)日：2021-03-26
申请号：CN202011287865.2
申请日：2020-11-17
Applicant: 中国科学院信息工程研究所 , 腾讯科技(深圳)有限公司
Abstract: 本申请提供了一种基于人工智能的模型搜索方法、装置、电子设备及计算机可读存储介质；涉及人工智能技术领域以及云技术领域中的大数据技术；方法包括：生成结构不同的多个神经网络模型；确定基准神经网络模型与每个神经网络模型之间的差异程度；执行以下迭代处理：对至少部分神经网络模型的差异程度与性能指标之间的函数关系进行拟合处理，根据拟合处理得到的函数代理模型进行差异程度采样处理，并将与差异程度采样处理得到的差异程度对应的神经网络模型，作为用于进行下一轮的迭代处理的神经网络模型；当迭代处理停止时，根据迭代处理得到的性能指标最高的神经网络模型执行数据任务。通过本申请，能够提升执行数据任务的精度。
-
Patent Agency Ranking
公开(公告)号：CN117933360A
公开(公告)日：2024-04-26
申请号：CN202410077118.8
申请日：2024-01-19
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种基于知识蒸馏和提示工程的模型生成方法及系统，所述方法包括：根据垂域数据集，设计适用于下游任务的训练目标，并根据该训练目标优化基座大模型，得到垂域大模型；将垂域大模型视为教师模型，并根据所述下游任务生成一网络结构作为学生模型；其中，所述学生模型的网络结构规模小于所述垂域大模型；从下游任务数据集中抽取至少一个批量数据作为教师模型和学生模型的输入，并基于提示词工程逐层蒸馏中间特征，以使学生模型与教师模型的中间特征和输出结果对齐后，得到适用于下游任务的小规模模型。本发明能够实现与下游任务实现良好对齐的情况下尽可能地压缩模型规模，提升垂域模型的部署、推理效率。
-
公开(公告)号：CN110059194B
公开(公告)日：2022-04-08
申请号：CN201910155583.8
申请日：2019-03-01
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种融合表示学习和分治策略的大规模本体合并方法，其步骤包括：1)对于待合并的两本体，学习每一本体的组成要素在假设的公共语义空间中的语义表示；2)根据本体层级结构将每一本体中的所有类别划分为若干不相交的类别簇；然后根据同一类别簇中的类别在本体中的层级结构，恢复该类别簇中类别之间的关系，得到该本体的块集合；3)根据两待合并本体的块集合生成两本体之间的块映射，并基于本体的组成要素的语义表示对块进行对齐；4)将对齐后的本体区分为源本体和目标本体，将源本体和目标本体之间等价的类别合并成一个公共的类别放入一合并本体中，然后将源本体中剩余的类别信息放入该合并本体中，完成两本体合并。
-
公开(公告)号：CN110059194A
公开(公告)日：2019-07-26
申请号：CN201910155583.8
申请日：2019-03-01
Applicant: 中国科学院信息工程研究所
Abstract: 本发明公开了一种融合表示学习和分治策略的大规模本体合并方法，其步骤包括：1)对于待合并的两本体，学习每一本体的组成要素在假设的公共语义空间中的语义表示；2)根据本体层级结构将每一本体中的所有类别划分为若干不相交的类别簇；然后根据同一类别簇中的类别在本体中的层级结构，恢复该类别簇中类别之间的关系，得到该本体的块集合；3)根据两待合并本体的块集合生成两本体之间的块映射，并基于本体的组成要素的语义表示对块进行对齐；4)将对齐后的本体区分为源本体和目标本体，将源本体和目标本体之间等价的类别合并成一个公共的类别放入一合并本体中，然后将源本体中剩余的类别信息放入该合并本体中，完成两本体合并。
-
公开(公告)号：CN113408721B
公开(公告)日：2025-05-16
申请号：CN202011567991.3
申请日：2020-12-25
Applicant: 中国科学院信息工程研究所 , 腾讯科技(深圳)有限公司
IPC: G06N3/042 , G06N3/0455 , G06N3/084
Abstract: 本申请涉及一种神经网络结构搜索方法、装置、计算机设备和存储介质。方法包括：将训练神经网络结构输入图神经网络中，得到对应的离散结构特征；将离散结构特征输入至编码网络，通过编码网络将离散结构特征编码为连续结构特征；根据连续结构特征及解码网络进行解码，得到重构神经网络结构；基于训练神经网络结构和重构神经网络结构之间的重构损失，训练图神经网络、编码网络及解码网络，直至满足训练停止条件时，得到目标编码网络及目标解码网络，将目标编码网络对应的隐空间确定为目标搜索空间；根据目标搜索策略从目标搜索空间进行搜索得到目标结构特征，并通过目标解码网络解码得到目标神经网络结构。采用本方法可以提高神经网络结构搜索效率。
-
公开(公告)号：CN117933367A
公开(公告)日：2024-04-26
申请号：CN202410077112.0
申请日：2024-01-19
Applicant: 中国科学院信息工程研究所
IPC: G06N3/098 , G06F18/214 , G06F18/24 , G06F18/27
Abstract: 本发明公开了一种基于注意力机制的联邦学习方法及系统，该系统包括：m个本地节点k和一全局节点。每一本地节点k用于：将本地数据不重叠地划分为训练数据集和验证数据集；在所述训练数据集上对全局模型f(t‑1)进行训练，得到本地模型#imgabs0#其中，t表示联邦训练的迭代轮次；将本地模型#imgabs1#划分为特征映射函数和线性学习器，并基于所述特征映射函数得到所述验证数据集对应的映射数据集后，将所述映射数据集和所述本地模型#imgabs2#对应的权重矩阵#imgabs3#发送至全局节点；全局节点用于基于各本地节点k的映射数据集和权重矩阵#imgabs4#生成全局模型f(t)后，将所述全局模型f(t)分发至每一本地节点k。本发明可以缓解数据异质性带来的性能损失问题。
-
-
-
-
-
-
Search Results
7
records
(took 0.046 seconds)
