公开(公告)号：CN119692351A

公开(公告)日：2025-03-25

申请号：CN202510209039.2

申请日：2025-02-25

Applicant: 中国科学院自动化研究所

Inventor： 陈玉博 ,  刘康 ,  赵军 ,  周桐 ,  秦晓彤

IPC: G06F40/295 ,  G06F40/30 ,  G06N5/022

Abstract: 本发明提供一种文本生成模型评估方法和装置，应用于自然语言处理技术领域。该方法包括：获取测试数据，所述测试数据包括实体属性和实体类别；根据所述测试数据生成多个测试任务，一个测试任务对应多个测试问题；将所述多个测试任务的测试问题分别输入文本生成模型，得到对应的测试结果，并根据所述测试结果确定所述文本生成模型对本体知识的掌握程度；其中，所述多个测试任务包括实体类别‑层级记忆测试、实体类别‑层级应用测试、实体属性记忆测试以及实体属性应用测试。

公开(公告)号：CN119917606A

公开(公告)日：2025-05-02

申请号：CN202411716751.3

申请日：2024-11-27

Applicant: 中国科学院自动化研究所 ,  北京智源人工智能研究院

Inventor： 刘康 ,  罗坤 ,  刘政 ,  肖诗涛 ,  周桐 ,  陈玉博 ,  钱泓锦 ,  夏子熠 ,  叶启威 ,  赵军

IPC: G06F16/3329 ,  G06F16/334 ,  G06F16/353 ,  G06F40/30 ,  G06N5/04 ,  G06N3/045 ,  G06N3/0895

Abstract: 本发明提供一种基于检索增强的大语言模型长文本回答方法及装置，方法包括：通过第一大语言模型对候选文本中文本片段生成提问样本，构建问答训练样本数据后通过对比学习训练第二大语言模型，得到文本检索器；从外部知识数据库中获取目标检索文本，根据预设的滑动窗口在目标检索文本上滑动，调用文本检索器对滑动窗口内文本进行基于因果注意力机制的特征提取，得到每个检索句子的检索语义特征；调用文本检索器对查询语义特征进行检索，得到召回知识文本，结合目标提问文本进行文本问答。通过本申请，克服在文本问答时需要对待检索文本进行分块检索，限制了检索增强有效召回，导致大语言模型根据检索证据进行文本回答时准确率低下的缺陷。