-
公开(公告)号:CN119938512A
公开(公告)日:2025-05-06
申请号:CN202411765138.0
申请日:2024-12-03
Applicant: 航天信息股份有限公司
IPC: G06F11/3668 , G06Q40/12 , G06N3/0455 , G06N5/04
Abstract: 一种财税领域大模型的自动化评测方法,包括准备测试集;针对每一条评测用例,分别构建用于评测待评测大模型的回答结果为正确或错误的评测关键词;对于每一条评测用例,使用与、或、非三种组合方式中的至少一种组合该条测试用例对应的评测关键词并将每一组合方式与对应的预期结果进行比对;将评测用例的输入问题转换为客观选择题;使用测试集测试待评测大模型,获取待评测大模型针对每一评测用例的回答结果,并以评测用例对应的评测关键词组合方式对回答结果进行评测,获取第一评测结果;统计第一评测结果,得到待评测大模型的评测准确率。本发明能够快速、准确的对财税大模型进行自动化评测,能够为财税大模型快速迭代升级提供评测结果数据支持。
-
公开(公告)号:CN115470519A
公开(公告)日:2022-12-13
申请号:CN202211148824.4
申请日:2022-09-21
Applicant: 航天信息股份有限公司
IPC: G06F21/62
Abstract: 本申请提供一种数据脱敏方法、装置及相关设备,其中,数据脱敏方法包括:对待处理数据进行敏感检测,确定待处理数据中的复杂数据;检测复杂数据的复杂类型,根据复杂类型,确定复杂数据中的目标脱敏数据,确定目标脱敏数据的敏感类型,根据对应敏感类型的脱敏规则,对复杂数据进行脱敏处理。本申请实施例提供的数据脱敏方法,能够很好的识别出复杂数据的种类,并根据复杂数据的种类对其进行脱敏,以解决现有技术局限于仅能为特定的基本数据或由基本数据混合组成数据进行脱敏,而不能为诸如数据、链表等较为复杂类型的数据进行准确的脱敏的问题,且脱敏处理准确性好、效率高,用户体验感好。
-
公开(公告)号:CN114253914A
公开(公告)日:2022-03-29
申请号:CN202111570901.0
申请日:2021-12-21
Applicant: 航天信息股份有限公司 , 安徽航天信息科技有限公司
Abstract: 本申请涉及数据处理技术领域,特别涉及一种分布式数据采集系统及方法。所述系统包括增量日志采集模块,增量日志处理模块,全量日志采集模块和分布式日志系统,其中,增量日志采集模块,用于基于不同数据源支持的日志采集方式,分别采用不同日志采集工具从各数据源的备用库中采集增量日志;增量日志处理模块,用于对采集到的不同数据源的增量日志进行数据格式转换处理,并将转换为指定数据格式的日志基于预设数据结构存储至分布式日志系统中;全量日志采集模块,用于在接收到全量日志采集指令时,基于不同数据源支持的日志采集方式,分别采用不同日志采集工具从各数据源的备用库中采集全量日志,并将采集到的全量日志存储至分布式日志系统中。
-
公开(公告)号:CN109858760A
公开(公告)日:2019-06-07
申请号:CN201811636911.8
申请日:2018-12-29
Applicant: 航天信息股份有限公司
Abstract: 本发明公开了一种金融APP产品发布周期的评估方法,包括:步骤1:获取应用市场的金融APP产品的基础数据;步骤2:定义金融APP产品的评估指标及其所占权重参数;步骤3:基于基础数据、评估指标及其所占权重参数,获取建模数据;步骤4:对建模数据进行层次聚类,建立评估模型;步骤5:切割评估模型,获取多个集群;步骤6:对集群分别进行密度聚类,获取最终核心点,确定金融APP产品的评估结果。本发明根据金融APP产品应用市场的数据实现了智能确定金融APP产品的评估结果,不同于传统评估方法,通过对APP上线后运营数据进行评估,反向指导产品团队,为团队研发提供有效的指导,准确度高,同时减少了工作人员的工足量,提高了工作效率。
-
公开(公告)号:CN119939181A
公开(公告)日:2025-05-06
申请号:CN202411942717.8
申请日:2024-12-26
Applicant: 航天信息股份有限公司
IPC: G06F18/21 , G06F16/3329 , G06F16/334 , G06N5/04
Abstract: 本公开涉及一种大模型回复质量评测方法、装置、设备和介质,该大模型回复质量评测方法包括:获取测试数据集,测试数据集包括题目和标准答案;针对测试数据集中的题目配置提示词,提示词用于指示测试数据集中题目的答题方向;将测试数据集中的题目和相应的提示词输入被测模型,得到被测模型输出的回复文本;将回复文本与标准答案进行比对,并根据比对结果对回复文本进行综合评分。本公开可以对模型的回复内容进行全面的自动化评测,大幅减少了人工干预和主观判断,提高了评测工作的效率。
-
公开(公告)号:CN119806988A
公开(公告)日:2025-04-11
申请号:CN202411932167.1
申请日:2024-12-25
Applicant: 航天信息股份有限公司
Abstract: 本发明公开一种基于OpenCompass的财税领域数据集评测方法,包括:S1:对OpenCompass评测工具配置财税模型接口参数;S2:设定财税数据集及其自动化评测整体流程;S3:根据数据集结果中问题的类型建立财税模型的提示词;S4:对财税模型数据集中的回答结果进行格式化处理;S5:基于OpenCompass评测工具并根据模型提示词的内容对财税模型数据集结果进行逐一评测。以此提高自动化评测训练模型的效果,降低大量数据集模型回答后的人工审核成本。
-
公开(公告)号:CN109753287A
公开(公告)日:2019-05-14
申请号:CN201811639893.9
申请日:2018-12-29
Applicant: 航天信息股份有限公司
IPC: G06F8/41
Abstract: 本发明公开了一种SVN代码双重检验方法及系统。其中检验方法,包括:在第一服务器中安装以及配置代码检查工具;在第二服务器中搭建持续集成平台并安装以及配置静态分析工具;通过SVN客户端提交SVN代码;SVN服务器调用预先配置的代码检查工具对提交前的SVN代码进行第一次规则检查;若代码发生错误,则终止SVN代码的提交,并在SVN客户端显示错误信息;若检查通过,则将SVN代码提交;平台调用预先配置的静态分析工具对编译后的SVN代码进行第二次规则检查同时输出检查报告。本发明通过代码检查工具和静态分析工具,针对SVN代码进行提交前和编译后的规则检查,规范了代码编写规则,提高代码质量,降低运营成本。
-
公开(公告)号:CN119938465A
公开(公告)日:2025-05-06
申请号:CN202411824576.X
申请日:2024-12-11
Applicant: 航天信息股份有限公司
IPC: G06F11/34 , G06N5/04 , G06N3/096 , G06N3/0985
Abstract: 本发明公开一种针对大语言模型的终端效能评测方法和装置,其中,该方法包括:数据构建步骤,根据大语言模型的特点和涉及的领域,从大语言模型面向业务方向和通用能力方向构建多维度测试数据集,多维度测试数据集包括多个类型,每一类型下进一步区分不同难度的数据集,数据集包括多条测试数据;指标构建步骤,对多维度测试数据集,按照类型分别设定效能指标;模型测试步骤,使用多维度测试数据集对大语言模型发起负载请求,依次或随机对大语言模型内部的群组进行调用执行,记录执行过程中的各项效能指标以及执行结果;效能评测步骤,根据模型测试步骤中记录的各项效能指标以及执行结果,输出效能分析报告。
-
公开(公告)号:CN117591169A
公开(公告)日:2024-02-23
申请号:CN202311622523.5
申请日:2023-11-30
Applicant: 航天信息股份有限公司
Abstract: 本申请提供了一种流式应用开发管理方法、装置、电子设备和存储介质,所述方法包括:获取流式应用数据,其中,流式应用数据至少包括流式应用描述信息和流式应用代码;根据流式应用数据的打包规范,将流式应用数据打包,获得流式应用物料包;基于流式应用物料包,创建至少一个流式作业任务;根据各个流式作业任务,分别构建各个流式作业任务包括的每一个流式作业任务对应的流式作业信息;分别根据流式作业信息,执行流式作业信息对应的流式作业任务。本方案可以提升流式应用开发管理的效率。
-
公开(公告)号:CN117555673A
公开(公告)日:2024-02-13
申请号:CN202311368428.7
申请日:2023-10-20
Applicant: 航天信息股份有限公司
Abstract: 本申请实施例提供了一种模拟票据生成方法、装置、电子设备及计算机存储介质,该数据生成方法包括:获取数据生成工具,其中,数据生成工具根据数据主体、数据主体的生成规则、分布式主键的生成规则和启动参数封装生成;根据所需模拟票据的票据类型确定目标启动参数;根据目标启动参数,在多个分布式计算节点上运行数据生成工具,以使每个分布式计算节点上的数据生成工具生成模拟票据包括的至少部分数据主体;根据分布式主键,获取多个分布式计算节点上的数据生成工具生成的数据主体,并对获取到的数据主体进行组合,获得模拟票据。本申请提供的模拟票据生成方法可以提高模拟票据的生成效率。
-
-
-
-
-
-
-
-
-