公开(公告)号：CN119761336A

公开(公告)日：2025-04-04

申请号：CN202411820053.8

申请日：2024-12-11

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 王庆立 ,  郝艳妮 ,  徐楠 ,  李军锋 ,  曹家 ,  罗引 ,  王磊

IPC: G06F40/194 ,  G06F40/16 ,  G06N5/04 ,  G06N3/045 ,  G06N3/0475 ,  G06F18/25

Abstract: 本发明提供了一种图表问答模型的综合评测方法、设备及介质，涉及数据处理技术领域，方法根据预设图表问答任务类型列表和目标图表类型列表，获取初始图表数据列表集合的总集，根据初始图表数据、初始图表数据对应的预设图表问答任务类型的定义文本和目标多模态大模型，获取初始图表数据对应的问题文本列表和问题文本对应的标准答案文本，根据多线程处理方式、预设配置文件和图表问答模型，并行获取问题文本对应的目标答案文本，根据问题文本对应的标准答案文本和目标答案文本，获取图表问答模型对应的人工评分和自动评分，用于评测图表问答模型，能够评估多种图表问答任务类型的情况下图表问答模型的输出结果的准确性，可以满足用户的多样化需求。

公开(公告)号：CN119760369A

公开(公告)日：2025-04-04

申请号：CN202411808970.4

申请日：2024-12-10

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 郝艳妮 ,  王庆立 ,  徐楠 ,  李军锋 ,  曹家 ,  罗引 ,  王磊

IPC: G06F18/21 ,  G06F18/2431 ,  G06N3/0455 ,  G06N3/08 ,  G06N5/04

Abstract: 本发明涉及大模型评测领域，特别是涉及一种多模态图表问答大模型的评价测试方法、介质及设备。包括：将判断类测试数据集，输入待评测大模型，以获取判断类模型输出结果。判断类问答对中的问题信息包括对问题本体文本及对回答信息只能是正面或反面信息的提示信息。将所有填空类模型输出结果、选择类模型输出结果及判断类模型输出结果的准确性信息进行统计，生成待评测大模型的执行评价信息。本发明中鉴于多模态大模型对指令的遵循可能存在潜在的变异性，所以在针对低阶任务性能的评价中，使用的指令类型包括从正面和负面角度提出的判断题、填空题和选择题三种题型来对待评测模型进行提问，由此来更加全面的对待评测大模型进行评测。

公开(公告)号：CN119692472A

公开(公告)日：2025-03-25

申请号：CN202411760334.9

申请日：2024-12-03

Applicant: 北京中科闻歌科技股份有限公司

Inventor： 郝艳妮 ,  李彤 ,  王庆立 ,  徐楠 ,  李军锋 ,  曹家 ,  罗引 ,  王磊

IPC: G06N5/04 ,  G06N20/00 ,  G06F40/284

Abstract: 本发明提供了一种多模态图表问答大模型构建方法、电子设备和存储介质，包括：基于第一样本数据集对图文对齐模型进行训练，得到训练好的图文特征对齐模型；其中，第一样本数据集中包括图像样本和对应的文本内容；基于第二样本数据集对具有训练好的图文特征对齐模型的多模态图表问答大模型进行训练，得到训练后的多模态图表问答大模型，作为最终的多模态图表问答大模型，第二样本数据集包括图表样本的上下文表示信息、图像和问答对数据。本发明得到的多模态图表问答大模型相对于现有的多模态图表问答大模型的图表问答能力能够得到进一步提升，且具有较强的中文理解能力。