公开(公告)号：CN114091644A

公开(公告)日：2022-02-25

申请号：CN202010859193.1

申请日：2020-08-24

Applicant: 中国科学院软件研究所 ,  中科院软件研究所南京软件技术研究院

Inventor： 孟令中 ,  薛云志 ,  董乾 ,  高卉 ,  武斌 ,  杨光 ,  师源

IPC: G06N3/02 ,  G06N3/08 ,  G06Q10/06

Abstract: 本发明公开了一种人工智能产品的技术风险评估方法及系统，建立面向人工智能产品的“风险域—风险子域—度量元”层次化的技术风险模型，每个风险域均有对应的风险子域，每个风险子域包含对应的度量元；根据待评估产品特性及评估需求确定该产品的风险域对应的风险子域及度量元，制定针对具体的技术风险模型；根据待评估人工智能产品的技术风险模型，收集技术风险评估要求的多个度量元结果；根据预先建立的技术风险评估通过准则对多个度量元结果进行评估，得出技术风险评估结论。本发明从多个角度考虑人工智能产品的技术风险，建立了人工智能产品的开发和应用全生命周期涉及的人工智能技术风险评估方法，解决了人工智能产品的技术风险评估模型缺失的问题。

公开(公告)号：CN114185320A

公开(公告)日：2022-03-15

申请号：CN202010970273.4

申请日：2020-09-15

Applicant: 中国科学院软件研究所 ,  中科院软件研究所南京软件技术研究院

Inventor： 薛云志 ,  孟令中 ,  董乾 ,  高卉 ,  武斌 ,  杨光 ,  师源 ,  王鹏淇

IPC: G05B23/02

Abstract: 本发明公开了一种无人系统集群的测评方法、装置、系统及存储介质，包括：根据虚实场景映射技术构建与实际测试环境对应的虚拟测试环境；将实际无人系统映射到虚拟测试环境中生成虚拟无人系统；根据测试想定及虚实结合技术，将虚拟测试环境扩展后和实际测试环境组合生成虚实结合测试环境，虚实结合测试环境包括实际测试环境和多个虚拟测试环境；在虚实结合测试环境中，根据测试想定将虚拟无人系统扩展后和实际无人系统组合生成无人系统集群；根据虚实结合测试环境和无人系统集群进行测试生成测评结果。通过实施本发明，可以根据不同的测试需求，构建出复杂多样的测试环境，以及多种类型的无人系统集群方式，便于更便捷的针对无人系统集群进行测试。

公开(公告)号：CN114185320B

公开(公告)日：2023-10-24

申请号：CN202010970273.4

申请日：2020-09-15

Applicant: 中国科学院软件研究所 ,  中科院软件研究所南京软件技术研究院

Inventor： 薛云志 ,  孟令中 ,  董乾 ,  高卉 ,  武斌 ,  杨光 ,  师源 ,  王鹏淇

IPC: G05B23/02

Abstract: 本发明公开了一种无人系统集群的测评方法、装置、系统及存储介质，包括：根据虚实场景映射技术构建与实际测试环境对应的虚拟测试环境；将实际无人系统映射到虚拟测试环境中生成虚拟无人系统；根据测试想定及虚实结合技术，将虚拟测试环境扩展后和实际测试环境组合生成虚实结合测试环境，虚实结合测试环境包括实际测试环境和多个虚拟测试环境；在虚实结合测试环境中，根据测试想定将虚拟无人系统扩展后和实际无人系统组合生成无人系统集群；根据虚实结合测试环境和无人系统集群进行测试生成测评结果。通过实施本发明，可以根据不同的测试需求，构建出复杂多样的测试环境，以及多种类型的无人系统集群方式，便于更便捷的针对无人系统集群进行测试。

公开(公告)号：CN117349139A

公开(公告)日：2024-01-05

申请号：CN202311430818.2

申请日：2023-10-31

Applicant: 中国科学院软件研究所

Inventor： 薛云志 ,  董乾 ,  孟令中 ,  李瑞 ,  马钰锡 ,  师源

IPC: G06F11/34

Abstract: 本公开涉及面向无人系统感知的复杂环境适应性评估方法及装置，属于无人系统仿真技术领域。所述方法包括：获取n个评估数据集及其环境复杂程度；从n个评估数据集中获取与感知任务相匹配的k个评估数据集，k为小于或等于n的正整数；基于k个评估数据集对无人系统感知执行感知任务的情况进行测试，得到k个测试结果；其中，每个测试结果包括无人系统感知在相应评估数据集上的测试指标数据和测试通过情况；结合k个测试结果和k个评估数据集的环境复杂程度，确定无人系统感知的复杂环境适应性。本公开考虑无人系统所处外部环境的特点对感知的性能影响，能够实现从复杂环境适应性角度执行性能评估。

公开(公告)号：CN115797733A

公开(公告)日：2023-03-14

申请号：CN202211585667.3

申请日：2022-12-09

Applicant: 中国科学院软件研究所

Inventor： 董乾 ,  薛云志 ,  孟令中 ,  杨光 ,  李瑞 ,  任红萍 ,  师源 ,  陈贺

IPC: G06V10/776

Abstract: 本公开涉及一种目标检测模型的评估方法、装置、电子设备及存储介质，属于人工智能技术领域。所述方法包括：获取目标场景用例的至少一个目标场景参数；获取目标场景参数的参数值；根据目标场景参数的参数值运行目标场景用例，并获取目标场景用例运行时的至少一张场景图片以及场景图片的基准标注；通过在目标场景用例中运行的目标检测模型对场景图片中的对象进行预测，得到场景图片的预测标注；根据至少一张场景图片对应的基准标注和预测标注，计算目标检测模型的评估结果。本公开能够基于场景参数和场景用例模拟现实场景，再利用模拟出的场景的场景图片对目标检测模型进行评估，结合了现实条件的约束，更具实用性，模型评估结果更准确。

公开(公告)号：CN114510715A

公开(公告)日：2022-05-17

申请号：CN202210042146.7

申请日：2022-01-14

Applicant: 中国科学院软件研究所

Inventor： 薛云志 ,  董乾 ,  孟令中 ,  杨光 ,  王鹏琪 ,  师源

IPC: G06F21/56 ,  G06K9/62 ,  G06N3/08

Abstract: 本发明公开了一种模型的功能安全测试方法、装置、存储介质及设备，涉及人工智能技术领域。所述方法包括：获取原始模型和原始数据集；基于原始数据集生成测试数据集，测试数据集包括扰动样本；采用测试数据集对原始模型进行深度学习模型测试，获取原始测试值；对原始模型进行目标功能安全防护，得到防护模型；采用测试数据集对防护模型进行深度学习模型测试，获取防护测试值；基于原始测试值和防护测试值，确定原始模型的功能安全测试结果。本发明实现了对深度学习模型进行面向数据处理的功能安全测试。

公开(公告)号：CN111813650B

公开(公告)日：2021-06-15

申请号：CN202010431083.5

申请日：2020-05-20

Applicant: 中国科学院软件研究所

Inventor： 董乾 ,  薛云志 ,  孟令中 ,  杨光 ,  丁明明 ,  师源 ,  武斌

IPC: G06F11/36

Abstract: 本发明提供了一种可视化无人车决策控制仿真测试方法及系统，涉及无人车软件功能测试技术领域，主要通过管理历史测试任务；创建测试任务，配置测试任务信息，在虚拟环境初始化测试任务；建立虚拟环境与待测的无人车决策控制模块的数据交互，控制虚拟环境中的主车运行；实时进行数据分析和记录，展示虚拟环境中主车的测试过程；实时检测虚拟环境中测试任务的执行情况，处理虚拟环境中各种预期情况；结束测试任务，进行测试数据统计及可视化，记录测试任务结果数据。本发明基于可视化技术覆盖了针对测试任务从开始到结束中管理、配置、运行控制的各阶段，借助数据通信实现测试系统与主车代码模块解耦，充分发挥无人车仿真测试的优势。

公开(公告)号：CN111813650A

公开(公告)日：2020-10-23

申请号：CN202010431083.5

申请日：2020-05-20

Applicant: 中国科学院软件研究所

Inventor： 董乾 ,  薛云志 ,  孟令中 ,  杨光 ,  丁明明 ,  师源 ,  武斌

IPC: G06F11/36

Abstract: 本发明提供了一种可视化无人车决策控制仿真测试方法及系统，涉及无人车软件功能测试技术领域，主要通过管理历史测试任务；创建测试任务，配置测试任务信息，在虚拟环境初始化测试任务；建立虚拟环境与待测的无人车决策控制模块的数据交互，控制虚拟环境中的主车运行；实时进行数据分析和记录，展示虚拟环境中主车的测试过程；实时检测虚拟环境中测试任务的执行情况，处理虚拟环境中各种预期情况；结束测试任务，进行测试数据统计及可视化，记录测试任务结果数据。本发明基于可视化技术覆盖了针对测试任务从开始到结束中管理、配置、运行控制的各阶段，借助数据通信实现测试系统与主车代码模块解耦，充分发挥无人车仿真测试的优势。

公开(公告)号：CN109960148A

公开(公告)日：2019-07-02

申请号：CN201910212378.0

申请日：2019-03-20

Applicant: 中国科学院软件研究所

Inventor： 孟令中 ,  薛云志 ,  董乾 ,  武斌 ,  师源 ,  杨光 ,  司宏远

IPC: G05B13/04

Abstract: 本发明涉及一种智能无人系统自主性评估方法及系统，属于智能无人系统领域，包括以下步骤：1)建立智能无人系统的自主性度量模型层次架构，并建立面向智能无人系统的自主性度量元集合，从而确定每个维度适用的自主性度量元；2)根据智能无人系统的所属平台和所需要完成的任务，在各个维度选择适用的自主性度量元；3)开展特定场景下的智能无人系统的自主性度量元数据计算工作；4)建立智能无人系统自主性评估准则；5)依据自主性评估准则给出智能无人系统自主性评估结果。本发明针对智能无人系统在特定场景和特定任务下有效和便捷的开展自主性评估，提高了智能无人系统的自主性评估结果的全面性和可操作性。

公开(公告)号：CN118331845A

公开(公告)日：2024-07-12

申请号：CN202410172770.8

申请日：2024-02-07

Applicant: 中国科学院软件研究所

Inventor： 孟令中 ,  杨光 ,  薛云志 ,  董乾 ,  王萌萌 ,  李志文 ,  王鹏淇 ,  师源

IPC: G06F11/36

Abstract: 本公开涉及深度神经网络模型的质量测评方法、装置及设备，属于人工智能领域。所述方法包括：构建包括多个质量评估指标的测试方案，并基于深度神经网络模型的应用场景获取测试数据集；基于测试方案和测试数据集对深度神经网络模型进行测试，得到多个质量评估指标的取值；获取深度神经网络模型在测试过程中的神经元激活情况，并基于神经元激活情况执行测试充分性验证；在深度神经网络模型未通过测试充分性验证的情况下，调整测试数据集；在深度神经网络模型通过测试充分性验证的情况下，基于多个质量评估指标的取值确定深度神经网络模型的质量评估结果。本发明能够实现对深度神经网络模型进行充分且全面的质量测评。