公开(公告)号：CN119938512A

公开(公告)日：2025-05-06

申请号：CN202411765138.0

申请日：2024-12-03

Applicant: 航天信息股份有限公司

Inventor： 司左 ,  高嘉伟 ,  赵飞 ,  张传敏 ,  解军伟 ,  王志刚 ,  张平

IPC: G06F11/3668 ,  G06Q40/12 ,  G06N3/0455 ,  G06N5/04

Abstract: 一种财税领域大模型的自动化评测方法，包括准备测试集；针对每一条评测用例，分别构建用于评测待评测大模型的回答结果为正确或错误的评测关键词；对于每一条评测用例，使用与、或、非三种组合方式中的至少一种组合该条测试用例对应的评测关键词并将每一组合方式与对应的预期结果进行比对；将评测用例的输入问题转换为客观选择题；使用测试集测试待评测大模型，获取待评测大模型针对每一评测用例的回答结果，并以评测用例对应的评测关键词组合方式对回答结果进行评测，获取第一评测结果；统计第一评测结果，得到待评测大模型的评测准确率。本发明能够快速、准确的对财税大模型进行自动化评测，能够为财税大模型快速迭代升级提供评测结果数据支持。

公开(公告)号：CN119938465A

公开(公告)日：2025-05-06

申请号：CN202411824576.X

申请日：2024-12-11

Applicant: 航天信息股份有限公司

Inventor： 赵飞 ,  曹召换 ,  高嘉伟 ,  张传敏 ,  司左 ,  解军伟 ,  王志刚

IPC: G06F11/34 ,  G06N5/04 ,  G06N3/096 ,  G06N3/0985

Abstract: 本发明公开一种针对大语言模型的终端效能评测方法和装置，其中，该方法包括：数据构建步骤，根据大语言模型的特点和涉及的领域，从大语言模型面向业务方向和通用能力方向构建多维度测试数据集，多维度测试数据集包括多个类型，每一类型下进一步区分不同难度的数据集，数据集包括多条测试数据；指标构建步骤，对多维度测试数据集，按照类型分别设定效能指标；模型测试步骤，使用多维度测试数据集对大语言模型发起负载请求，依次或随机对大语言模型内部的群组进行调用执行，记录执行过程中的各项效能指标以及执行结果；效能评测步骤，根据模型测试步骤中记录的各项效能指标以及执行结果，输出效能分析报告。

公开(公告)号：CN119939181A

公开(公告)日：2025-05-06

申请号：CN202411942717.8

申请日：2024-12-26

Applicant: 航天信息股份有限公司

Inventor： 高嘉伟 ,  司左 ,  赵飞 ,  张传敏 ,  解军伟 ,  王志刚 ,  张平

IPC: G06F18/21 ,  G06F16/3329 ,  G06F16/334 ,  G06N5/04

Abstract: 本公开涉及一种大模型回复质量评测方法、装置、设备和介质，该大模型回复质量评测方法包括：获取测试数据集，测试数据集包括题目和标准答案；针对测试数据集中的题目配置提示词，提示词用于指示测试数据集中题目的答题方向；将测试数据集中的题目和相应的提示词输入被测模型，得到被测模型输出的回复文本；将回复文本与标准答案进行比对，并根据比对结果对回复文本进行综合评分。本公开可以对模型的回复内容进行全面的自动化评测，大幅减少了人工干预和主观判断，提高了评测工作的效率。

公开(公告)号：CN119806988A

公开(公告)日：2025-04-11

申请号：CN202411932167.1

申请日：2024-12-25

Applicant: 航天信息股份有限公司

Inventor： 张传敏 ,  司左 ,  高嘉伟 ,  赵飞 ,  高帅 ,  解军伟 ,  王志刚

IPC: G06F11/34 ,  G06Q40/12 ,  G06N5/022

Abstract: 本发明公开一种基于OpenCompass的财税领域数据集评测方法，包括：S1：对OpenCompass评测工具配置财税模型接口参数；S2：设定财税数据集及其自动化评测整体流程；S3：根据数据集结果中问题的类型建立财税模型的提示词；S4：对财税模型数据集中的回答结果进行格式化处理；S5：基于OpenCompass评测工具并根据模型提示词的内容对财税模型数据集结果进行逐一评测。以此提高自动化评测训练模型的效果，降低大量数据集模型回答后的人工审核成本。

公开(公告)号：CN307407721S

公开(公告)日：2022-06-17

申请号：CN202130858100.9

申请日：2021-12-24

Applicant: 航天信息股份有限公司

Designer： 张传敏 ,  杨瑞 ,  林文辉

Abstract: 1.本外观设计产品的名称：带智能机器人在线交互图形用户界面的电脑。
2.本外观设计产品的用途：用于显示及运行程序。
3.本外观设计产品的设计要点：在于图形用户界面的界面内容。
4.最能表明设计要点的图片或照片：主视图。
5.无设计要点，省略后视图、左视图、右视图、俯视图、仰视图。
6.图形用户界面的用途：用于解答用户在使用开票软件过程中存在的问题。
7.图形用户界面的人机交互方式：主视图为初始界面；点击主视图顶部的“查看更多历史消息”进入界面变化状态图1，等待加载历史消息；界面变化状态图1加载完成后进入界面变化状态图2，在此界面上拉滚动条，可查看历史交互记录；在主视图的输入区域输入问题关键词进入界面变化状态图3，界面联动展示出相近问题中top5内容；点击界面变化状态图3中的“如何开具1％征收率的发票”进入界面变化状态图4；点击界面变化状态图4中的“发送”进入界面变化状态图5；点击主视图热门问题中的“2021年国庆假期值班安排”进入界面变化状态图6；界面变化状态图6中智能机器人回答问题进入界面变化状态图7；点击界面变化状态图7右侧菜单栏的双箭头符号进入界面变化状态图8；点击主视图中的“客服名片”进入界面变化状态图9；点击界面变化状态图9底部的带有“Aa”的蓝色方形按钮，进入界面变化状态图10；在主视图的输入“系统缺少黑体”并发送后，进入界面变化状态图11；在界面变化状态图11中选择三颗心评价进入界面变化状态图12；在界面变化状态图11中选择二颗心评价进入界面变化状态图13；在主视图中点击图片按钮进入界面变化状态图14。