公开(公告)号：CN116521834A

公开(公告)日：2023-08-01

申请号：CN202310303093.4

申请日：2023-03-23

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  赵军 ,  刘康 ,  翁诣轩 ,  朱敏郡 ,  夏飞

IPC: G06F16/332 ,  G06F16/33

Abstract: 本申请提供一种文本答案的推理方法、装置及存储介质，所述方法包括：输入第一文本到语言模型，获取所述语言模型输出的多个候选答案；所述第一文本为待识别的文本；以每一候选答案作为条件确定每一候选答案对应的验证分数；所述验证分数表示候选答案的置信度；输出最高验证分数对应的候选答案作为所述第一文本的推理答案。本申请提供的文本答案的推理方法、装置及存储介质，将语言模型生成的答案替换原始条件后，再次输入到语言模型中，从而验证答案。通过这种自我验证的方法，提高了语言模型输出结果的鲁棒性和准确性。

公开(公告)号：CN116431777A

公开(公告)日：2023-07-14

申请号：CN202310203670.2

申请日：2023-03-06

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  赵军 ,  刘康 ,  朱敏郡 ,  翁诣轩

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/338

Abstract: 本发明提供一种示意图问答方法及系统，该方法包括：获取目标示意图问题，所述目标示意图问题包括目标示意图和所述目标示意图对应的目标问题；将所述目标示意图问题输入到示意图问答模型中，得到所述目标示意图问题对应的预测答案；其中，所述示意图问答模型是由样本示意图问答对和示意图问答对增强数据训练得到的；所述示意图问答对增强数据是通过所述样本示意图问答对构建得到的，包括图像描述增强数据、问题生成增强数据、答案判别增强数据和图文匹配增强数据。本发明基于原始示意图问答对，构建从不同角度理解原始示意图问答对的示意图问答对增强数据，提高了增强数据的准确性，同时提升了示意图问答模型的问答预测性能。

公开(公告)号：CN111061850B

公开(公告)日：2023-04-28

申请号：CN201911276031.9

申请日：2019-12-12

Applicant: 中国科学院自动化研究所

Inventor： 赵军 ,  何世柱 ,  刘康 ,  刘庆斌

IPC: G06F16/332 ,  G06F18/232 ,  G06F18/2411 ,  G06F18/214

Abstract: 本发明属于自然语言处理技术领域，具体涉及一种基于信息增强的对话状态跟踪方法、系统、装置，旨在解决现有对话状态跟踪方法仅利用对话文本的上下文信息生成的未知槽值的准确度较差的问题。本系统方法包括基于用户t时刻的对话文本，通过对话状态跟踪模型得到t时刻的对话状态；t时刻的对话状态包括一或多个槽值对及对应的概率；所述槽值对包括槽、槽值；所述对话状态跟踪模型基于编码器‑解码器架构的神经网络构建。本发明提高了未知槽值生成的准确度。

公开(公告)号：CN115062603A

公开(公告)日：2022-09-16

申请号：CN202210557374.8

申请日：2022-05-20

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  刘康 ,  赵军 ,  孙润鑫

IPC: G06F40/205 ,  G06F40/189 ,  G06F40/30 ,  G06F40/289 ,  G06F40/295 ,  G06K9/62

Abstract: 本发明涉及自然语言处理技术领域，提供一种对齐增强语义解析方法、装置和计算机程序产品，所述方法包括：预测知识问答任务中对应对齐关系的短语，并基于对应对齐关系的短语的类型生成对应的查询片段，其中，对齐关系包括短语和对应的查询片段；将序列化的对齐关系拼接至输入序列，并将输入序列输入编码器‑解码器解析模型的编码器模型，获取对齐的编码结果；将对齐的编码结果进行注意力操作并输入编码器‑解码器解析模型的解码器模型，解析并输出对齐关系对应的查询语句，其中，解码器模型是利用含噪对齐训练获得。本发明可实现较大粒度的建模对齐，且提高解析准确度及噪声对解析模型的鲁棒性。

公开(公告)号：CN110442693A

公开(公告)日：2019-11-12

申请号：CN201910685616.X

申请日：2019-07-27

Applicant: 中国科学院自动化研究所 ,  腾讯科技(深圳)有限公司

Inventor： 何世柱 ,  刘康 ,  赵军 ,  刘操 ,  王摘星

IPC: G06F16/332 ,  G06F17/27

Abstract: 本发明提供了一种基于人工智能的回复消息生成方法、装置、服务器及介质，属于人工智能技术领域。方法包括：获取目标用户的会话消息；将会话消息输入多级编码器中，多级编码器包括多个级联的编码器；根据多个编码器的级联关系，控制每个编码器分别根据每个编码器对应的词汇表以及上一级编码器的状态信息生成会话消息的编码序列；根据多级解码器包括的多个解码器的级联关系，控制每个解码器分别根据多个编码器生成的编码序列、上级解码器生成的第一解码序列以及对应的编码器的状态信息生成第二解码序列，多个解码器与多个编码器一一对应；根据多级解码器生成的解码序列，输出会话消息的回复消息。使得生成的回复消息更加顺畅流利，质量较高。

公开(公告)号：CN119558280A

公开(公告)日：2025-03-04

申请号：CN202411677572.3

申请日：2024-11-22

Applicant: 中国科学院自动化研究所

Inventor： 刘康 ,  何世柱 ,  赵军 ,  赵城锋

IPC: G06F40/16 ,  G06F40/253 ,  G06F40/268 ,  G06F40/166 ,  G06N3/0475 ,  G06N3/0455 ,  G06N3/09 ,  G06N3/047

Abstract: 本发明公开了一种基于词性评判的大语言模型事实增强解码方法。该方法包括以下主要步骤：对大型语言模型各层中的文本进行幻觉部分的词性分布分析，确定干预目标词性；基于干预目标词性，确定事实词汇与幻觉词汇在同一个句子中的输出概率趋势；构建针对不同干预目标词性的评判器，并基于事实词汇与幻觉词汇在同一个句子中的输出概率趋势对评判器进行训练；在大型语言模型生成文本的解码过程中，利用训练好的评判器实时监测模型输出，检测潜在的幻觉信号，根据检测到的幻觉信号，动态调整大型语言模型的事实文本生成过程中的选项。本发明与传统方法相比能够显著提高生成内容的事实准确性，且无需借助外部资源或模型。

公开(公告)号：CN117217312B

公开(公告)日：2025-02-28

申请号：CN202311085481.6

申请日：2023-08-25

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  刘康 ,  赵军 ,  廖桓萱

IPC: G06N5/04 ,  G06N5/022 ,  G06N3/04 ,  G06F16/28 ,  G06F16/901

Abstract: 本发明提供一种基于图神经网络的可解释知识图谱推理方法及装置，该基于图神经网络的可解释知识图谱推理方法包括：获取用户输入的待查询三元组，待查询三元组包括源实体和实体关系；根据源实体在知识图谱中的上下文信息构建知识图谱子图，并根据关系感知的注意力机制对知识图谱子图和实体关系进行编码，得到关系权重；基于关系权重对源实体在知识图谱中关联的关系路径进行聚合处理，得到关系路径表征。本发明所述方法通过结合结构信息、实体关系对不同实体的贡献度，以及其在各种规则路径中的重要性对源实体的关系路径进行综合分析，充分利用知识图谱的上下文信息和周围邻居节点信息，提升了推理结果的准确率。

公开(公告)号：CN119443166A

公开(公告)日：2025-02-14

申请号：CN202411626024.8

申请日：2024-11-14

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  张元哲 ,  刘康 ,  赵军 ,  徐遥 ,  廖桓萱

IPC: G06N3/0495 ,  G06N5/022 ,  G06N5/04 ,  G06N3/045 ,  G06N3/082 ,  G06N3/09 ,  G06N3/042

Abstract: 本发明提出了提升小型语言模型复杂推理的神经符号协同蒸馏方法，包括：首先，从大型语言模型中提取一般推理能力和通用知识，将其蒸馏至参数化的SLMs中；其次，针对复杂推理任务所需的特定能力和罕见知识，采用符号知识蒸馏手段，将这些知识存储在符号知识库中。通过这种一般能力与特定能力的解耦，能够以较小的模型规模和成本实现高性能。此外，本发明还包含一种多任务学习方法，通过引入辅助任务如增强蒸馏、答案预测和直接推理提示，进一步提升SLMs对可能噪声知识的鲁棒性，并有效利用特定知识。本发明增强了小型语言模型处理复杂推理任务的能力，适用于对一般认知能力及专业领域知识都有需求的复杂推理场景。

公开(公告)号：CN119415223A

公开(公告)日：2025-02-11

申请号：CN202411278711.5

申请日：2024-09-12

Applicant: 中国科学院自动化研究所 ,  昆明理工大学

Inventor： 何世柱 ,  刘康 ,  赵军 ,  宋燃

IPC: G06F9/48 ,  G06F9/50 ,  G06N3/06

Abstract: 本发明提供一种任务性能控制方法、装置、设备、存储介质及程序产品，应用于自然语言处理技术领域。该方法包括：基于因果追踪方法确定目标模型在执行上下文学习任务中的重点输入词；确定所述目标模型在执行推理过程中在所述重点输入词上的梯度变化；将梯度变化最大的预设数量的位置上的神经元确定为重点神经元；通过调整所述重点神经元的激活水平控制所述目标模型的任务性能。

公开(公告)号：CN118193750B

公开(公告)日：2024-12-27

申请号：CN202410312411.8

申请日：2024-03-19

Applicant: 中国科学院自动化研究所

Inventor： 何世柱 ,  刘康 ,  赵军 ,  桂梁

IPC: G06F16/36 ,  G06N5/02 ,  G06N3/0442 ,  G06N3/0455 ,  G06N3/048 ,  G06F17/16 ,  G06F17/18 ,  G06F18/22 ,  G06N3/08

Abstract: 本发明提供一种知识图谱事实错误检测方法、装置、电子设备及存储介质，应用于数据处理技术领域。该方法包括：从待检测知识图谱中获取目标三元组，所述目标三元组包括头实体、尾实体以及实体关联关系；确定所述目标三元组的置信度分数，所述置信度分数包括局部分数和全局分数，所述局部分数用于指示所述目标三元组的内部结构的矛盾程度，所述全局分数用于指示所述头实体和所述尾实体在所述待检测知识图谱中的外部语义的差异程度；在所述置信度分数大于预设阈值的情况下，确定所述目标三元组存在事实错误。