公开(公告)号：CN111881688A

公开(公告)日：2020-11-03

申请号：CN202010801363.0

申请日：2020-08-11

Applicant: 中国科学院自动化研究所

Inventor： 赵军 ,  刘康 ,  陈玉博 ,  刘健

IPC: G06F40/295 ,  G06K9/62 ,  G06N3/04

Abstract: 本发明属于自然语言处理技术领域，具体涉及一种基于屏蔽泛化机制的事件因果关系识别方法、系统、装置，旨在解决模型训练困难以及事件因果关系识别鲁棒性较差的问题。本发明方法包括：获取待识别事件因果关系的文本，作为输入文本；通过BERT模型提取输入文本与因果事件的实体信息对应的三元组集合融合后的特征，作为第一特征；通过BERT模型提取输入文本中未屏蔽信息的特征，作为第二特征；将第一特征、第二特征进行融合，将融合后的特征作为第三特征；基于第三特征，通过预构建的分类模型获取输入文本中事件因果关系的识别结果。本发明简化了模型训练的难度，并提高了事件因果关系识别的鲁棒性。

公开(公告)号：CN111737552A

公开(公告)日：2020-10-02

申请号：CN202010500623.0

申请日：2020-06-04

Applicant: 中国科学院自动化研究所 ,  腾讯科技(深圳)有限公司

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞 ,  闭玮 ,  刘晓江 ,  郑宇飞

IPC: G06F16/953 ,  G06F16/36 ,  G06F40/211 ,  G06N20/00 ,  G06N3/04

Abstract: 本申请涉及计算机技术领域，提供一种训练信息抽取模型和获取知识图谱的方法、装置和设备，用以提高信息抽取模型的鲁棒性。其中方法包括：对初始的第一信息抽取模型进行训练，基于对噪音样本的预测结果对第一信息抽取模型进行更新，得到第一中间态模型；基于第一中间态模型对噪音样本的预测结果与初始的第二信息抽取模型对非噪音样本的预测结果的差异对第一信息抽取模型进行更新，得到第二中间态模型；基于第二中间态模型对非噪音样本的预测结果对第二中间态模型进行更新，得到参考模型；基于预设平滑系数对参考模型的参数进行调整，得到目标信息抽取模型。本申请基于元学习的方式对模型参数进行更新，更新后的模型更鲁棒，构建的知识图谱更准确。

公开(公告)号：CN119398181A

公开(公告)日：2025-02-07

申请号：CN202510008081.8

申请日：2025-01-03

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞 ,  苑红榜

IPC: G06N5/04

Abstract: 本发明提供一种针对错误前提的幻觉缓解方法和装置，应用于自然语言处理技术领域。该方法包括：获取第一输入文本和第二输入文本，所述第二输入文本为将所述第一输入文本中的错误前提替换为占位符的文本；分别确定大语言模型处理所述第一输入文本时每个注意力头的第一激活值，以及处理所述第二输入文本时每个注意力头的第二激活值；按照目标处理方式确定每个注意力头对大语言模型输出幻觉文本的影响力；基于所述影响力确定目标注意力头，并对所述目标注意力头进行削弱处理。

公开(公告)号：CN119026593A

公开(公告)日：2024-11-26

申请号：CN202411109907.1

申请日：2024-08-13

Applicant: 中国科学院自动化研究所 ,  北京百川智能科技有限公司 ,  北京英博数科科技有限公司

Inventor： 刘康 ,  陈玉博 ,  赵军 ,  曹鹏飞 ,  杜鹏帆 ,  梁思睿 ,  张保礼 ,  王炳宁 ,  陈炜鹏 ,  曾祥荣 ,  浦威 ,  李少鹏 ,  吴东

IPC: G06F40/226 ,  G06F16/332 ,  G06F16/31 ,  G06F40/30 ,  G06F40/186 ,  G06N20/00

Abstract: 本申请公开了一种用于大模型的评测方法及装置。所述评测方法包括：获取知识参考数据集，所述知识参考数据集包括常识知识参考数据集、世界知识参考数据集和语言知识参考数据集中的至少一者；基于所述知识参考数据集，构建未被包括在针对大型语言模型的训练语料库中的评测问题以及与评测问题对应的评测答案；针对每个评测问题的知识关系，构建多种问题模板，从而各个评测问题及其对应的评测答案以及多种问题模板构成用于大型语言模型的评测数据库；根据预设评测标准，利用所述评测数据库对待评测大型语言模型进行评测，得到所述待评测大型语言模型的评测结果。

公开(公告)号：CN118917313A

公开(公告)日：2024-11-08

申请号：CN202411072445.0

申请日：2024-08-06

Applicant: 中国科学院自动化研究所

Inventor： 赵军 ,  陈玉博 ,  曹鹏飞 ,  刘康 ,  何致涛

IPC: G06F40/295 ,  G06F18/22 ,  G06F18/214 ,  G06N3/042 ,  G06N3/045 ,  G06N3/0895 ,  G06F40/211

Abstract: 本公开涉及自然语言处理技术领域，具体涉及一种因果关系的识别方法、装置、电子设备、存储介质和计算机程序产品，因果关系的识别方法包括：获取目标语言的待识别文本数据；基于源语言的文本数据训练得到的异构图交互网络，对待识别文本数据中事件间的因果关系进行识别，其中，目标语言包括与源语言不同的语言。可以通过构建异构图交互网络并对源语言中包含事件对的陈述、以及不包含事件对的陈述进行多语言复写后，在陈述层面使用对比学习的方式提高从源语言学习的因果知识的跨语言可迁移性；使得用源语言中的标注数据训练的异构图交互网络能够直接应用于目标语言，实现零样本跨语言的文档级因果识别模型，解决了低资源语言识别能力差的问题。

公开(公告)号：CN118606444A

公开(公告)日：2024-09-06

申请号：CN202410656522.0

申请日：2024-05-24

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  曹鹏飞 ,  刘康 ,  赵军 ,  金卓然

IPC: G06F16/332 ,  G06F16/33 ,  G06F16/36 ,  G06N5/022

Abstract: 本发明涉及自然语言处理技术领域，提供一种面向检索增强语言模型的知识冲突分析缓解方法，利用模型内部记忆答案、外部来源答案和回复结果，从回复结果的正确性、忠实性和模型记忆性中至少一个角度，对检索增强语言模型进行知识冲突分析，得到分析结果，如此可以更加清晰的确定出检索增强语言模型存在的问题。在分析结果是检索增强语言模型存在知识冲突的情况下，利用问题样本及其对应于知识冲突的类型的答案样本，对检索增强语言模型进行训练，以缓解检索增强语言模型的知识冲突问题，提高其平均召回率，更好地校准检索增强语言模型的置信度水平，提高其在面对知识冲突时的决策质量，确保检索增强语言模型能够在面对复杂的信息时做出准确判断。

公开(公告)号：CN118485075A

公开(公告)日：2024-08-13

申请号：CN202410497324.4

申请日：2024-04-24

Applicant: 中国科学院自动化研究所

Inventor： 曹鹏飞 ,  陈玉博 ,  刘康 ,  赵军 ,  郝煜朴

IPC: G06F40/295 ,  G06N5/022 ,  G06N3/0455 ,  G06N3/09

Abstract: 本发明提供一种基于离散扩散的复杂事件模式归纳模型的训练方法、装置，该方法包括：获取样本复杂事件，基于样本复杂事件，确定样本实例图，对样本实例图的初始事件骨架图进行离散扩散，得到扩散事件骨架图，基于扩散事件骨架图的骨架特征以及初始事件预测模型，同时预测扩散事件骨架图对应的复杂事件骨架图；基于样本实例图以及初始实体关系预测模型，预测得到补全实例图；基于迭代完成的事件预测模型以及实体关系预测模型，得到最终的复杂事件模式归纳模型。本发明提供的方法、装置，实现了事件骨架图、实体关系的准确预测，提升了复杂事件模式归纳模型生成的复杂事件模式的准确性、有效性。

公开(公告)号：CN118396129A

公开(公告)日：2024-07-26

申请号：CN202410403374.1

申请日：2024-04-03

Applicant: 中国科学院自动化研究所

Inventor： 曹鹏飞 ,  陈玉博 ,  刘康 ,  赵军 ,  何致涛

IPC: G06N5/045 ,  G06N5/022

Abstract: 本发明提供一种基于角色扮演的因果关系解释生成方法、装置，该方法包括：获取待解释的因果对；分别基于预设的任务提示，以及各推理角色的扮演者，对待解释的因果对进行与推理角色对应的分析，得到与待解释的因果对相关的细粒度知识；推理角色的扮演者包括原因分析者、结果分析者、疑问解答者；基于生成者，生成待解释的因果对的初始解释，以及，基于细粒度知识、待解释的因果对、批评者，生成初始解释的反馈结果，基于生成者以及反馈结果，对初始解释进行迭代，直至得到待解释的因果对最后的因果关系解释；本发明提供的方法，通过多个扮演角色实现推理逻辑正确、有深度的高质量解释生成，进而提升基于解释生成的下游自然语言任务的准确性。

公开(公告)号：CN113779190B

公开(公告)日：2023-08-18

申请号：CN202110819756.9

申请日：2021-07-20

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  曹鹏飞

IPC: G06F16/33 ,  G06N3/0464 ,  G06N3/08

Abstract: 本发明提供一种事件因果关系识别方法、装置、电子设备与存储介质，所述方法包括：基于待识别的事件对所在的文本，确定所述事件对的上下文表示；将所述事件对的上下文表示，以及与所述事件对相关的描述性知识和关联性知识输入至因果关系识别模型，得到所述因果关系识别模型输出的所述事件对的因果关系；其中，所述因果关系识别模型是基于样本事件对的上下文表示，与所述样本事件对相关的样本描述性知识和样本关联性知识，以及所述样本事件对的因果关系训练得到的。本发明提供的方法、装置、电子设备与存储介质，能够充分挖掘事件对之间的因果关系信息，避免显式线索缺乏导致事件因果关系无法识别的问题，极大地提高事件因果关系识别的准确性。

公开(公告)号：CN113761925B

公开(公告)日：2022-10-28

申请号：CN202110837136.8

申请日：2021-07-23

Applicant: 中国科学院自动化研究所

Inventor： 刘康 ,  赵军 ,  陈玉博 ,  黄修胜

IPC: G06F40/295 ,  G06F40/216 ,  G06K9/62

Abstract: 本发明提供一种基于噪声感知机制的命名实体识别方法、装置及设备，其中方法包括：确定待识别文本；将待识别文本输入至命名实体识别模型，得到命名实体识别模型输出的识别结果；命名实体识别模型是基于干净样本集合训练得到的，干净样本集合是基于原始样本集合中各样本文本的训练统计量，对原始样本集合进行噪声筛除得到的，训练统计量是在基于样本文本进行训练过程中统计的预测结果和标签之间的差异。本发明提供的方法、装置、电子设备和存储介质，能够通过获取待识别文本的识别结果，根据识别结果对待识别文本进行命名实体类型判定，克服了命名实体识别数据集中正确样本和噪声样本难以区分的问题，实现了待识别文本的命名实体类型的精确识别。