-
公开(公告)号:CN119227818A
公开(公告)日:2024-12-31
申请号:CN202411758966.1
申请日:2024-12-03
Applicant: 中国科学院自动化研究所
IPC: G06N5/04
Abstract: 本发明提供一种大语言模型垂直领域多任务客观题评测集自动生成方法,涉及人工智能技术领域,方法包括:针对垂直领域的纯文本数据集中每一个文本,根据预设的多个任务类型,调用问题求解器对文本进行任务合适性判别,并在判别结果为合适时生成任务类型的至少一个初始客观题题干;针对初始客观题题干进行歧义检测,并调用问题求解器对存在歧义的所述初始客观题题干进行改写,得到改写客观题题干;最后调用问题求解器对每个改写客观题题干生成对应的客观题选项、客观题答案以及客观题答案解析,作为对应任务类型的客观题评测集。通过本申请,解决现有技术中大模型评测数据集构建过程耗时耗力、无法实现特定垂直领域评测数据集自动生成的问题。