公开(公告)号：CN119622001A

公开(公告)日：2025-03-14

申请号：CN202510156421.1

申请日：2025-02-12

Applicant: 之江实验室

Inventor： 张音捷 ,  王之宇 ,  白冰 ,  范逸飞 ,  查超 ,  牟兰 ,  石赛男

IPC: G06F16/36 ,  G06F16/353 ,  G06F40/279 ,  G06F40/30

Abstract: 本说明书公开了一种大模型幻觉测评数据生成方法。在此方法中，可以通过实体识别和关系抽取技术，从预先构建的针对不同领域范围的知识库中提取出结构化的知识图谱，进而可以根据知识图谱中各节点之间的连接关系，结合大语言模型生成幻觉测评数据，以对待测试模型针对非直观或模糊信息时的表现进行测评。同时，以原始实体在知识库中对应的文本数据为依据，提供详尽的参考答案，形成文本对。最终得到一套全面的幻觉测评数据集，用以评估待测试模型的理解力和输出信息的准确性。

公开(公告)号：CN119622001B

公开(公告)日：2025-04-25

申请号：CN202510156421.1

申请日：2025-02-12

Applicant: 之江实验室

Inventor： 张音捷 ,  王之宇 ,  白冰 ,  范逸飞 ,  查超 ,  牟兰 ,  石赛男

IPC: G06F16/36 ,  G06F16/353 ,  G06F40/279 ,  G06F40/30

Abstract: 本说明书公开了一种大模型幻觉测评数据生成方法。在此方法中，可以通过实体识别和关系抽取技术，从预先构建的针对不同领域范围的知识库中提取出结构化的知识图谱，进而可以根据知识图谱中各节点之间的连接关系，结合大语言模型生成幻觉测评数据，以对待测试模型针对非直观或模糊信息时的表现进行测评。同时，以原始实体在知识库中对应的文本数据为依据，提供详尽的参考答案，形成文本对。最终得到一套全面的幻觉测评数据集，用以评估待测试模型的理解力和输出信息的准确性。