一种面向电力场景的大模型性能评估方法和系统

    公开(公告)号:CN119740910A

    公开(公告)日:2025-04-01

    申请号:CN202411768304.2

    申请日:2024-12-04

    Abstract: 本发明涉及一种面向电力场景的大模型性能评估方法和系统,方法包括:分别将待评估的大模型配置为执行多种任务,计算对应任务下的评价指标,实现电力自然语言处理性能评估,所述多种任务包括电力实体识别任务、电力文本分类任务、电力内容生成任务中的一个或多个;将待评估的大模型配置为从电力文本中提取关键电力数值,核查关键数值的准确性并进行计算分析,计算对应的评价指标,实现电力场景计算性能评估;将待评估的大模型配置为电力分析与解读任务,通过计算模型的生成内容与用户需求和问题的切合程度实现电力文本分析性能评估;通过判断待评估大模型是否识别非法请求实现电力安全合规评估。本发明能够实现针对电力领域大模型的综合评估。

Patent Agency Ranking