-
公开(公告)号:CN119692351A
公开(公告)日:2025-03-25
申请号:CN202510209039.2
申请日:2025-02-25
Applicant: 中国科学院自动化研究所
IPC: G06F40/295 , G06F40/30 , G06N5/022
Abstract: 本发明提供一种文本生成模型评估方法和装置,应用于自然语言处理技术领域。该方法包括:获取测试数据,所述测试数据包括实体属性和实体类别;根据所述测试数据生成多个测试任务,一个测试任务对应多个测试问题;将所述多个测试任务的测试问题分别输入文本生成模型,得到对应的测试结果,并根据所述测试结果确定所述文本生成模型对本体知识的掌握程度;其中,所述多个测试任务包括实体类别‑层级记忆测试、实体类别‑层级应用测试、实体属性记忆测试以及实体属性应用测试。