-
公开(公告)号：CN118862896A
公开(公告)日：2024-10-29
申请号：CN202410752109.4
申请日：2024-06-12
Applicant: 中国科学院自动化研究所 , 上海人工智能创新中心
Abstract: 本发明提供一种上下文学习示例的选择方法、装置、电子设备和存储介质，该方法包括：获取候选示例集；基于候选示例集中各候选示例在打分示例集上的整体影响，确定候选示例集的影响相似度矩阵；打分示例集包括多个预先获取的验证示例；基于行列式点过程算法对候选示例集的影响相似度矩阵进行子集选取，选择得到上下文学习示例。本发明提供的方法，通过各候选示例在打分示例集上的整体影响，确定候选示例集的影响相似度矩阵，基于行列式点过程算法对候选示例集的影响相似度矩阵进行子集选取，选择得到能够用于多种类型的上下文学习任务的学习示例，大大节省了在实际应用中进行挑选学习示例的时间，进而提升了执行上下文学习任务的执行效率。
-
公开(公告)号：CN115618846A
公开(公告)日：2023-01-17
申请号：CN202211185670.6
申请日：2022-09-27
Applicant: 中国科学院自动化研究所
IPC: G06F40/205 , G06F40/30 , G06F40/284 , G06N3/08
Abstract: 本发明提供一种篇章级关系抽取方法、装置、电子设备及存储介质，其中篇章级关系抽取方法包括：获取目标篇章文本，目标篇章文本为标识有代词及与代词对齐的名词短语指称的篇章文本；基于目标篇章文本和预设关系抽取模型，得到目标篇章文本中不同实体对之间的语义关系及语义关系的关系类别。本发明能够有效提高篇章级关系抽取的精准性和可靠性。
-
公开(公告)号：CN118643899A
公开(公告)日：2024-09-13
申请号：CN202410682396.6
申请日：2024-05-29
Applicant: 中国科学院自动化研究所 , 上海人工智能创新中心
Abstract: 本发明提供一种基于知识筛选的常识推理模型的训练方法、装置，该方法包括：获取样本问答对；基于初始常识推理模型对样本问答对的初始背景知识进行筛选得到优选背景知识；基于优选背景知识、样本问题以及初始常识推理模型，确定样本问题的推理答案；基于样本问题的推理答案以及样本答案进行训练迭代，以得到基于知识筛选的常识推理模型；初始常识推理模型是基于构建第一约束和第二约束，并对第一约束和第二约束进行变分估计确定约束上界得到的；第一约束用于最大化优选背景知识与样本问答对之间的关联；第二约束用于最小化优选背景知识与初始背景知识之间的关联。本发明提供的方法，实现精准有效的知识筛选，提升模型推理的准确性和推理速度。
-
公开(公告)号：CN118551009A
公开(公告)日：2024-08-27
申请号：CN202410626490.X
申请日：2024-05-20
Applicant: 中国科学院自动化研究所
IPC: G06F16/332 , G06F16/33 , G06N3/045 , G06N3/0499 , G06N3/0985
Abstract: 本发明提供一种基于想象增强的问答交互模型训练、问答交互方法及装置，所述方法包括：基于检索文本的压缩文本，对大语言模型进行微调，并基于微调后的大语言模型生成问题文本对应的虚拟文本，检索文本是问题文本的增强文本；将问题文本以及虚拟文本输入至学生模型，得到学生模型输出的问题文本的学生答案文本，学生模型的注意力层中添加有适配器，适配器的权重是将问题文本输入至元学习网络后确定的；基于学生答案文本与教师答案文本之间的差异，对学生模型进行蒸馏训练，得到问答交互模型；教师文本是将问题文本输入至学生模型对应的教师模型后生成的。本发明训练得到的问答交互模型能够高效且准确进行问答交互。
-
公开(公告)号：CN115422921A
公开(公告)日：2022-12-02
申请号：CN202211066401.8
申请日：2022-08-31
Applicant: 中国科学院自动化研究所
IPC: G06F40/284 , G06F40/247 , G06F40/216 , G06N5/04
Abstract: 本发明实施例提供一种归因解释方法的稳定性的确定方法、装置和设备，该方法包括：获取样本文本；对样本文本进行文本对抗攻击，得到攻击后的样本文本；分别对样本文本和攻击后的样本文本采用多个归因解释方法进行解释，得到样本文本中各个单词的归因值以及攻击后的样本文本中各个单词的归因值；基于样本文本中各个单词的归因值以及攻击后的样本文本中各个单词的归因值，确定各个归因解释方法对应的归因值排序发生变化的单词数量；根据归因值排序发生变化的单词数量，确定各个归因解释方法的稳定性。本发明实施例的方法为归因解释方法的衡量和选择提供了合理准确的评价标准，实现了对各个归因解释方法优劣的准确衡量。
-
Patent Agency Ranking
公开(公告)号：CN110941962A
公开(公告)日：2020-03-31
申请号：CN201911173056.6
申请日：2019-11-26
Applicant: 中国科学院自动化研究所
IPC: G06F40/295 , G06F40/30 , G06F16/332 , G06N3/04 , G06N3/08
Abstract: 本发明涉及自然语言处理技术领域，具体涉及一种基于图网络的答案句选择方法和装置。为了解决现有技术未考虑候选句之间的关联度导致答案选择错误的问题，本发明提出一种基于图网络的答案句选择方法，该方法包括对预先获取的多个第一句子，分别获取对应的第一向量；根据第一句子和第一向量构建多个第一句子的关系图；基于关系图以及第一向量，通过图网络获取第二向量，其中，图网络基于神经网络构建，第二向量为多个第一句子的上下文信息融合后的向量；基于第二向量，通过问答句预测器从第一句子中选择答案句，其中，问答句预测器用于获取第二向量对应的第一句子的预测分数。利用本发明的方法能够提高从候选句中选择正确答案的概率。
-
公开(公告)号：CN104820694B
公开(公告)日：2019-03-15
申请号：CN201510208978.1
申请日：2015-04-28
Applicant: 中国科学院自动化研究所
IPC: G06F16/242 , G06F16/25
Abstract: 本发明提供一种基于多知识库和整数线性规划ILP的自动问答方法和系统，所述方法包括：创建用于索引多个知识库的实体和/或关系的资源字典；在所述资源字典中查询并由自然语句的多个文本片段映射到的多个实体和/或多个关系构成多个候选资源；对各候选资源执行转换，获得对应的多个模板；将所述各文本片段、映射、候选资源、转换、和模板组合成消歧图；根据ILP对所述消歧图进行联合推理、选取至少一个待查询模板来生成规范查询语句。本发明所述方法能够对自然语句在多知识库中进行较精确的查询。
-
公开(公告)号：CN119443166A
公开(公告)日：2025-02-14
申请号：CN202411626024.8
申请日：2024-11-14
Applicant: 中国科学院自动化研究所
Abstract: 本发明提出了提升小型语言模型复杂推理的神经符号协同蒸馏方法，包括：首先，从大型语言模型中提取一般推理能力和通用知识，将其蒸馏至参数化的SLMs中；其次，针对复杂推理任务所需的特定能力和罕见知识，采用符号知识蒸馏手段，将这些知识存储在符号知识库中。通过这种一般能力与特定能力的解耦，能够以较小的模型规模和成本实现高性能。此外，本发明还包含一种多任务学习方法，通过引入辅助任务如增强蒸馏、答案预测和直接推理提示，进一步提升SLMs对可能噪声知识的鲁棒性，并有效利用特定知识。本发明增强了小型语言模型处理复杂推理任务的能力，适用于对一般认知能力及专业领域知识都有需求的复杂推理场景。
-
公开(公告)号：CN115481740A
公开(公告)日：2022-12-16
申请号：CN202211058977.X
申请日：2022-08-30
Applicant: 中国科学院自动化研究所
Abstract: 本发明提供一种解释指导的知识蒸馏方法、装置、电子设备及存储介质，该方法包括：基于预先设置的解释模式，生成用于表征教师模型的推理方式的第一解释结果；基于所述解释模式，生成用于表征学生模型的推理方式的第二解释结果；基于所述第一解释结果和所述第二解释结果，获取所述学生模型的训练损失函数；基于所述训练损失函数训练所述学生模型，以将所述教师模型中的知识蒸馏到所述学生模型中。本发明实施例在生成学生模型的训练损失函数时，考虑了教师模型与学生模型的推理方式，即使教师模型与学生模型的架构不同，考虑教师模型与学生模型的推理方式也能更好地将教师模型的知识蒸馏到学生模型中，可以有效提高学生模型的性能。
-
公开(公告)号：CN110941962B
公开(公告)日：2021-09-28
申请号：CN201911173056.6
申请日：2019-11-26
Applicant: 中国科学院自动化研究所
IPC: G06F40/295 , G06F40/30 , G06F16/332 , G06N3/04 , G06N3/08
Abstract: 本发明涉及自然语言处理技术领域，具体涉及一种基于图网络的答案句选择方法和装置。为了解决现有技术未考虑候选句之间的关联度导致答案选择错误的问题，本发明提出一种基于图网络的答案句选择方法，该方法包括对预先获取的多个第一句子，分别获取对应的第一向量；根据第一句子和第一向量构建多个第一句子的关系图；基于关系图以及第一向量，通过图网络获取第二向量，其中，图网络基于神经网络构建，第二向量为多个第一句子的上下文信息融合后的向量；基于第二向量，通过问答句预测器从第一句子中选择答案句，其中，问答句预测器用于获取第二向量对应的第一句子的预测分数。利用本发明的方法能够提高从候选句中选择正确答案的概率。
-
-
-
-
-
-
-
-
-
Search Results
17
records
(took 0.029 seconds)
