公开(公告)号：CN119377206A

公开(公告)日：2025-01-28

申请号：CN202411600329.1

申请日：2024-11-11

Applicant: 中国信息通信研究院

Inventor： 李荪 ,  燕江依 ,  曹峰 ,  樊威 ,  魏凯

IPC: G06F16/215 ,  G06F11/34 ,  G06F18/10 ,  G06F16/951 ,  G06F18/23213 ,  G06F18/2411 ,  G06F18/2135 ,  G06F18/2433 ,  G06N3/094 ,  G06N3/0475 ,  G06F16/25

Abstract: 本发明公开了一种面向人工智能的数据集质量评估测试方法，涉及人工智能技术领域，包括步骤：S1、测试数据集准备；S2、测试条件初始化；S3、前置检测；S4、后置检测；S5、数据集质量评估得分计算。该面向人工智能的数据集质量评估测试方法，针对人工智能数据集质量评估方法和技术的独特需求，对人工智能数据集质量评估指标、方法和技术流程进行了针对性的创新设计、调整与扩充，确保其不仅能够贴合AI模型训练与性能评估的具体阶段和场景，而且能够促进人工智能相关技术的迭代进步与实际应用效能的提升，体现了高度的场景适宜性和技术前瞻性。

公开(公告)号：CN118626354A

公开(公告)日：2024-09-10

申请号：CN202410724666.5

申请日：2024-06-05

Applicant: 中国信息通信研究院

Inventor： 韩旭 ,  魏凯 ,  曹峰 ,  董晓飞 ,  李荪 ,  赵丹萍

IPC: G06F11/34 ,  G06F11/36 ,  G06N3/094 ,  G06N3/0475 ,  G06N3/045 ,  G06N3/084 ,  G06N3/086 ,  G06F16/23

Abstract: 本申请涉及模型测试技术领域，公开一种动态自适应的模型基准测试的方法及装置、测试设备，方法包括：在动态数据库中选取多个测试题目作为第一测试数据集；将第一测试数据集输入目标待测模型，获得目标待测模型的输出结果；根据输出结果，确定目标待测模型的适应度函数结果；若适应度函数结果满足阈值条件，则对输出结果进行分析，获得目标待测模型的能力测试结果；否则，基于演进策略对第一测试数据集进行更新，并利用更新后的第二测试数据集对目标待测模型进行迭代测试。本申请能够更有效地避免遍历全部测试数据集，能够避免“刷榜”问题，能够提高模型能力测试结果的准确性和可信度，能更高效地更精准地挖掘模型缺陷。

公开(公告)号：CN118297444A

公开(公告)日：2024-07-05

申请号：CN202410727463.1

申请日：2024-06-06

Applicant: 中国信息通信研究院

Inventor： 卢佩玲 ,  李荪 ,  曹峰 ,  魏凯

IPC: G06Q10/0637 ,  G06N20/00

Abstract: 本发明公开了一种面向人工智能的数据集质量通用评估方法，涉及数据评估技术领域，包括S1、参数初始化；S2、自动化检测；S3、人工检测；S4、模型验证；S5、消融实验；S6、质量评分；S7、出具报告。该面向人工智能的数据集质量通用评估方法，提出了新的评估方法和平台框架体系，能对人工智能数据集质量进行标准化规范，帮助提升人工智能模型的训练效率，并通过自动化检测和人工检测结合，提升评估效率以及评估结果的准确性，使其更加适用于大规模数据集的质量评估，同时提供有质量评分计算公式，以获得直观的评估结果，此外，能够根据具体的数据集和应用场景进行定制和调整，具有较强的自适应性和灵活性，以便满足实际应用的需求。

公开(公告)号：CN112562736B

公开(公告)日：2024-06-21

申请号：CN202011459130.3

申请日：2020-12-11

Applicant: 中国信息通信研究院

Inventor： 李荪 ,  张蔚敏 ,  刘硕

IPC: G10L25/60

Abstract: 本申请提供了一种语音数据集质量评估方法和装置。所述方法包括：获取待评估的语音数据集，以及所述语音数据集对应的应用场景；基于所述应用场景对应的质量评估模型获取所述语音数据集的评估值；根据所述评估值评估所述语音数据集的语音质量；其中，所述质量评估模型用于计算输入的语音数据集的语言要素覆盖度、随机信息量、信号有效度，所述语音数据集的特征与所述应用场景要求的特征匹配度，以及所述语音数据集与所述应用场景预设数据集之间的内容相似度；并按照配置的权重对所述覆盖度、随机信息量、信号有效度、特征匹配度和内容相似度进行加权求和获得所述语音数据集的评估值。该方法能够全面、客观、量化地对语音数据集的质量进行评估。

公开(公告)号：CN112562736A

公开(公告)日：2021-03-26

申请号：CN202011459130.3

申请日：2020-12-11

Applicant: 中国信息通信研究院

Inventor： 李荪 ,  张蔚敏 ,  刘硕

IPC: G10L25/60

Abstract: 本申请提供了一种语音数据集质量评估方法和装置。所述方法包括：获取待评估的语音数据集，以及所述语音数据集对应的应用场景；基于所述应用场景对应的质量评估模型获取所述语音数据集的评估值；根据所述评估值评估所述语音数据集的语音质量；其中，所述质量评估模型用于计算输入的语音数据集的语言要素覆盖度、随机信息量、信号有效度，所述语音数据集的特征与所述应用场景要求的特征匹配度，以及所述语音数据集与所述应用场景预设数据集之间的内容相似度；并按照配置的权重对所述覆盖度、随机信息量、信号有效度、特征匹配度和内容相似度进行加权求和获得所述语音数据集的评估值。该方法能够全面、客观、量化地对语音数据集的质量进行评估。